Фирмената ни памет се справяше добре на тест. После зададохме истинските въпроси.

Фирмената ни памет изглеждаше надеждна, когато я проверявахме с въпроси, написани за теста. После проверихме как се справя с начина, по който действително работя.

При написаните въпроси търсенето постигаше резултат 0.80 за откриване на очаквания запис сред първите 3 резултата. Измервахме намирането на запис, а не верността на отговора. При реални заявки, извадени от разговорите ни, го намираше в 4/20 случая. Автоматичният помощник за припомняне получи същия резултат върху този реален набор.

Това промени разговора за нашия „втори мозък“. Можех да разкажа как е организиран, какво сме автоматизирали и накъде вървим. Не можех честно да превърна по-добрия резултат в обещание за ежедневната работа.

За собственика на бизнес точно това е важно. Инвестирате, за да върви работата с по-малко повторения. Ако паметта се справя само когато знаете как да зададете тестовия въпрос, пак ще се налага да обяснявате бизнеса отначало.

Какво наричаме фирмена памет

Нашият „втори мозък“ е постоянна памет, от която AI сесията може да започне. В нея пазим предпочитания за работа, важни решения, проектни досиета и поуки от грешки. Така асистентът има откъде да потърси контекст извън текущия разговор.

Проектното досие събира индекса на проекта, нерешените въпроси, взетите решения, натрупаното знание и съпътстващите материали. Решението има място, на което да бъде намерено. Не зависи от това дали някой помни в кой чат е било обсъдено.

Каталогът с грешки има друга роля. В него остават проблемите и наученото при отстраняването им. Асистентът може да потърси предишния опит, преди отново да започне същото разследване. Това знание остава полезно и след като първоначалният разговор вече не е пред нас.

В началото не зареждаме целия архив. Механизмът за стартиране на сесията подава предпочитанията, основните правила за поведение, активните решения и скорошния контекст. За останалото дава указатели, които асистентът да последва при нужда. Ако работната папка съвпада със записаното местоположение на кода на проект, може да зареди и неговото досие.

Асистентът получава ориентир и път до доказателствата. Сам по себе си големият обем текст не показва кое решение е актуално и за кой проект говоря.

Защо изобщо го изградихме

Искам работата да продължава от мястото, до което сме стигнали. Взетото решение да е достъпно, без да правя ново въвеждане при всяка сесия. Предпочитанията ни да не изчезват, а проектът да пази причините зад направените избори.

Повторното обясняване е работа. Проверяването дали асистентът не се е върнал към вече отхвърлен вариант също е работа. И двете отнемат внимание, което собственикът може да вложи в изпълнение, продажби или решение, което само той може да вземе.

Това е стойността, която търсим. Нямаме измерен резултат за спестени часове или допълнителни приходи, който да публикувам тук. Резултатът от търсенето не може да замести такава сметка.

Има разлика и между това да запазиш решение и да го използваш. Файлът може да е на мястото си, а асистентът да не го намери, да не го отвори или да не разбере защо е важен за текущата задача.

Тестовете ни принудиха да разграничим тези проблеми. Създаването на подредена памет беше необходимо. Доказването, че правилният запис стига до работата навреме, се оказа отделна задача.

Проверката, която показа разликата

Показателят recall измерва дали търсенето връща очаквания материал. В нашия тест успех означаваше правилният запис да е сред първите 3 резултата. Това не означаваше, че крайният отговор е верен или че задачата е завършена.

Първоначалният резултат 0.80 идваше от 50 въпроса, написани за оценяването. За всеки знаехме кой запис трябва да бъде намерен. Бяха полезни за разработката, но не представяха достатъчно добре езика на реалната работа.

После проверихме 20 действителни заявки от транскрипти. Търсенето намери очаквания запис в 4/20 случая. Автоматичният механизъм за припомняне постигна същото. Той е малка програма, която се включва в определен момент от работата на асистента и подава указатели към възможно полезни записи.

Това не беше спад при повторение на един и същ тест. Сменихме материала, върху който измерваме. Добрият резултат при подготвените въпроси беше скрил много по-слаб резултат при начина на работа, който искахме да подпомогнем.

Реалните заявки често бяха откъслечни. Споменават решение, без да повтарят заглавието на бележката. Или описват бизнес въпроса на български, докато записът използва английски термини. Информацията съществува, но думите, необходими на търсенето, липсват.

Затова държа материалът за оценяване да идва от действителната употреба. Иначе рискуваме да измерваме колко добре самите ние умеем да задаваме удобни за системата въпроси.

Защо очевидните поправки не стигнаха

Диагностиката показа различни причини правилният запис да се изгуби. Обширни бележки, които споменават много теми, излизаха пред конкретни решения. Кратки части от думи съвпадаха с несвързани материали. При дълга заявка важната дума можеше да отпадне още преди търсенето.

Пробвахме промени, които да намалят предимството на общите бележки. На реалния набор нямаше подобрение. Обяснението звучеше логично, но измерването не подкрепи запазването им.

Друга идея беше да дадем предимство на записите от активния проект. Ако работя по проект, неговите решения би трябвало да са по-важни. Само че първо трябва да знаем кой е проектът.

Транскриптите показаха слабостта на това допускане. Често отварях разговор от основната папка на мозъка и направо описвах работата. Папката не сочеше към проекта, чието решение ми трябваше. Предимство, определено по местоположението, можеше да насочи асистента към грешното досие.

Добавихме функцията като опция, която може да се включва, измерихме резултата и я оставихме изключена по подразбиране. Реалното припомняне не се подобри. Проверихме и дали таблото със задачи може да даде полезен сигнал за проекта. Резултатът не оправда добавянето му към автоматичния механизъм.

За мен това е управленска дисциплина. Дори функцията, която звучи полезно, изисква поддръжка. Когато няма доказателство, че помага на работата, да я оставиш изключена е разумен резултат.

Какво променихме и какво още е експеримент

Променихме правилото за оценяване. Реалните заявки идват от транскриптите и резултатите им се отчитат отделно. Не настройваме системата безкрайно върху същите примери, докато започне да изглежда добре. Така постепенно бихме ги превърнали в поредния тест, който сме я научили да минава.

Направихме и малка промяна в превръщането на заявката в думи за търсене. Резултатът върху първоначалния реален набор се повиши от 4/20 на 5/20. Когато разширихме набора до 50 заявки, автоматичният механизъм намери 5/50. Подобрението беше действително, но ограничено.

Извън работещата система проверихме преформулиране с модел. Към оригиналната заявка добавихме английски думи за търсене, предложени от Haiku. Най-добрият вариант достигна 7/20 при първоначалните реални заявки. Това остана под предварително уговорения праг 8/20 за предлагане на следващия експеримент. Не внедрихме това преформулиране в автоматичното припомняне.

Отделен експеримент с търсенето беше по-обещаващ. Моделът за векторно представяне превръща текста в числа, така че търсенето да сравнява смисъл, а не само еднакви думи. При този тест семантичното търсене с BGE-M3 намери правилния запис в 14/50 реални случая. Работещото ни хибридно търсене, което съчетава ключови думи и смислова близост, постигаше 7/50.

Тестът беше върху нашите материали, без промяна на работещия индекс. Това е измерен експеримент, а не внедрено подобрение. Той не поправя автоматично и механизма за припомняне. За човек, който обмисля покупка, тази разлика е съществена.

Сегашното състояние може да се каже по-просто: автоматичният помощник намира 5/50 реални заявки, прякото хибридно търсене намира 7/50, а отделният семантичен експеримент достига 14/50. Когато автоматичните предложения не помогнат, асистентът все още може да търси през подредените файлове. По-силното експериментално търсене още не е внедрено.

Разбрахме по-добре и самото ограничение. Понякога проблемът е в думите. Понякога в заявката просто няма достатъчно контекст, за да бъде избрана правилната бележка автоматично.

Намерен запис и завършена задача са различни резултати

Ако автоматичното припомняне не помогне, асистентът все още може да отвори индекс, да влезе в досие и да проследи записите. Това изисква допълнителна работа, но може да доведе до правилния резултат.

По-късната ни оценка на изпълнението включваше 14 реални задачи. И вариантът с автоматично припомняне, и този без него завършиха 14/14. С припомняне бяха нужни средно 3.3 хода, а без него 4.1. Ходът тук е стъпка от взаимодействието в оценявания разговор.

Вариантът без автоматично припомняне все пак имаше достъп до паметта. Сравнявахме помощта от автоматичните указатели. Не сравнявахме фирмена памет с асистент, който няма никакъв фирмен контекст.

Наборът от задачи е малък и не доказва успешно изпълнение на всякаква фирмена работа. Тези резултати подсказват, че указателите понякога съкращават пътя. Не доказват по-висока точност на крайния резултат, определен брой спестени часове или задължително по-нисък разход.

Искам тези разлики да са видими. Бизнесът се интересува едновременно от време, пари и качество. Привлекателният резултат по един показател не може да представлява всички останали.

Какво бих проверила, преди да купя фирмена памет

Бих поискала да видя какво действително са написали хората и как системата се е справила с него. Дали асистентът е отворил правилните записи? Дали е завършил задачата вярно? Кои подобрения работят в момента и кои съществуват само като тест?

Бих проверила и дали самите записи остават разбираеми. Предпочитанията, решенията, проектният контекст и познатите грешки трябва да имат ясни места. Когато автоматичното търсене не успее, трябва да има използваем път през знанието на компанията.

Избраната ни продуктова посока е хранилище с код и празна структура на паметта, което купувачът да използва локално със собствените си материали. Това е посока, не доказателство за завършен продукт. В плана остава работа, преди системата да е подходяща за чужд бизнес.

Продължавам да виждам стойност в пренасянето на фирменото знание между сесиите. Собствената ни система показа, че запазването на знанието и надеждното му използване в следващата задача трябва да се доказват поотделно. Истинските въпроси разкриха разликата навреме, за да променим работата.

Ако екипът ви постоянно обяснява едни и същи решения на AI или обмисляте фирмена памет, можем да разгледаме процеса в безплатен одит. Ще видим какъв контекст е нужен, къде се губи и с какви доказателства бихте могли да обосновете инвестицията.