Когато ChatGPT, Claude и Gemini сгрешиха: Защо AI все още не може да замени човешкия опит в автоматизацията
Дадох една реална клиентска автоматизация на ChatGPT, Claude и Gemini и я построих сама за 30 минути. И трите AI варианта щяха да се провалят в реална работа.
- AI
- Business
- Case Study

Накратко
- ChatGPT, Claude и Gemini сбъркаха една и съща реална клиентска автоматизация: измислени данни, локални файлове вместо Google таблицата, ненужен webhook, никаква обработка на грешки.
- И тримата познаха, че числата се вадят с REGEX, тоест с твърд шаблон за търсене в текст: без разход, мигновен и винаги със същия резултат.
- Демо, което тръгва веднъж, не е работеща система. Нужни са обработка на грешки, лимити на заявките, наблюдение и възможност за безопасно повторно пускане.
- Преди да наемете когото и да е, човек или AI, да ви строи автоматизация, задайте пет въпроса за грешките, промените в данните, наблюдението, повторното пускане и поддръжката.
За 30 минути построих автоматизация, с която три от най-напредналите AI модела в света не се справиха.
Не я направих за 30 минути, защото съм гений. Зад тези 30 минути стоят 2 години практика, стотици неуспешни опита и уроци, научени по трудния начин.
Пиша това, защото всеки ден виждам клипове, които твърдят, че AI вече прави автоматизации „почти без човек“. Опишеш какво искаш, моделът свършва останалото. Този разказ е опасен. Не защото AI е слаб, а защото създава очаквания, които завършват с изгубени пари и счупени системи.
Затова направих тест. Една и съща реална клиентска задача получихме аз и ChatGPT, Claude и Gemini. Ето какво излезе от всеки.
Задачата: две числа, скрити в стена от текст
Така я формулира клиентът:
„От Google таблицата, в колоната Психопрофил, под подточка 5) ‚Съвпадащи оси‘, вземи точките от ‚Нужда от структура‘ и ‚Емоционална подкрепа‘ за студенти и ментори и ги сложи в отделни колони (‚Нужда от структура‘ и ‚Емоционална подкрепа‘), защото по тях ще съпоставяме, но те трябва да останат и в психопрофила.“
На прост език: клиентът имаше таблица с дълъг психологически профил за всеки човек. В профила бяха скрити два резултата от 1 до 5. Те трябваше да отидат в собствени колони, за да може друга автоматизация по-късно да подбира ментори за студентите.
Уловката: оригиналният текст трябваше да остане непокътнат. Нищо не се променя, нищо не се трие.
Разбрах задачата още щом отворих таблицата. Виждах цялата автоматизация в главата си. Преди да я построя, исках да видя как ще се справят трите най-известни AI асистента със същия проблем.
Експериментът: една подробна заявка, три AI модела
Не попитах просто „как би го направил?“. Така е твърде лесно да се отхвърли. Написах подробна, добре подредена заявка (на езика на AI: prompt) с контекста, структурата на данните, бизнес изискването, техническите ограничения и очаквания резултат. Същата заявка получиха ChatGPT, Claude и Gemini.
Ако AI можеше да замени архитект на автоматизации, тук трябваше да го покаже. Ето заявката, ако искате сами да я изпробвате:
Вие сте старши инженер по автоматизации с дълбок практически опит в n8n.
Работите по автоматизации, готови за реална експлоатация, които могат да се импортират директно в n8n и да се ползват без допълнителни корекции.
## Контекст
Имам Excel файл с много колони. Сред тях са:
- колона "Психопрофил"
- две съседни колони: "Нужда от структура" и "Емоционална подкрепа"
В колоната "Психопрофил" има подточка:
5) "Съвпадащи оси", която съдържа (наред с други данни) стойности за:
- "Нужда от структура: [число от 1 до 5], [Описание]"
- "Емоционална подкрепа: [число от 1 до 5], [Описание]"
## Бизнес изискване
От подточка 5) "Съвпадащи оси" в "Психопрофил" трябва:
- да се извади [число от 1 до 5], което стои както при "Нужда от структура", така и при "Емоционална подкрепа". След това тези числа от 1 до 5 да се запишат в съответните колони: "Нужда от структура" и "Емоционална подкрепа".
- оригиналната информация в колоната "Психопрофил" да остане непроменена!!!
## Вашата задача
1. Опишете логическата структура на автоматизацията в n8n (възли, последователност, трансформации).
2. Генерирайте валиден JSON за работния поток в n8n, който може да се импортира и е готов за реална експлоатация:
- JSON трябва стриктно да следва формата, който n8n използва
- да не съдържа заместващи текстове или примерни стойности
- да е готов за директен импорт в n8n
## Ограничения
- Не променяйте и не изтривайте съществуващата информация в "Психопрофил"
- Добавяйте стойности само в колоните: "Нужда от структура" и "Емоционална подкрепа"
- Не добавяйте бизнес правила извън описаните
- Ако структурата на "Съвпадащи оси" не е напълно ясна, направете разумни допускания и ги опишете изрично преди решението
## Формат на отговора
1. Кратко описание на автоматизацията
2. JSON на работния поток в n8n в отделен кодов блок
Какво познаха трите модела и къде сбъркаха
За тяхна чест, и тримата разбраха, че задачата иска REGEX. Това е шаблон за търсене, с който се вади точно определен фрагмент от по-голям текст. Има значение, защото начинаещият вероятно би накарал AI модел да чете числата от всеки профил, а това е най-лошият избор за този клиент. Защо, обяснявам по-долу.
Всичко останало беше грешно. Нито едно от трите решения не би работило в реална среда.
Gemini направи измислени данни вместо връзка с истинската Google таблица. Би свършило за еднократна проба и нищо повече.

Claude чете и пише локални файлове вместо да обновява Google таблицата. При всяко пускане би правило нов файл, а не би обновявало съществуващата таблица. Нямаше и обработка на грешки при липсващи данни.

ChatGPT сложи webhook (входна врата, през която външна услуга стартира автоматизацията), което за тази задача няма смисъл. Логиката му за извличане беше прекалено сложна и не мислеше за лимитите на API (връзката, през която програмите си говорят, например с Google).

Разликата не е в интелигентността. Тя е във всичко около кода.
Какво построих за 30 минути, стъпка по стъпка

Ето автоматизацията, всяка стъпка на ясен език.
1. Връзка с истинския източник на данни
Свързах се директно с Google таблицата на клиента. Не с измислени данни, не с локален файл, а с таблицата, в която хората му работят всеки ден.
2. Филтър за редовете, които трябва да се обработят
Филтърът пропуска само редове, в които колоната „Психопрофил“ има текст и колоната „Нужда от структура“ е празна. Представете си го като контролна врата. Не позволява ред да се обработи два пъти, да се чете от празна клетка или да се презапише вече готова работа.
Това е бизнес правило, не техническо изискване. AI моделите го пропуснаха, защото не знаят как клиентът наистина работи.
3. Един ред наведнъж
Обработвам всеки ред поотделно с „цикъл“ (Loop: стъпка, която повтаря действието за всеки ред). Автоматизацията променя външна система, а при много редове наведнъж има риск от дублирани обновявания, пропуснати редове и нестабилна работа. В реална среда стабилността е по-важна от скоростта, винаги. Никое от AI решенията не се замисли за това.
4. Извличане на числата с REGEX
Тук става самото извличане. ChatGPT ми помогна да напиша кода. Той гледа текста в колоната „Психопрофил“, намира „Нужда от структура“ и „Емоционална подкрепа“ и числото от 1 до 5 след тях. Взима само числата и не пипа останалото.
Моят REGEX е детерминиран: следва строги правила и или намира шаблона, или не. Няма тълкуване, няма налучкване, няма „вероятно“. Ако се счупи, счупва се предвидимо и го поправям с ново правило.
5. Проверка на резултата
Преди да се запише каквото и да е, втори филтър пита: има ли този ред число и за „Нужда от структура“, и за „Емоционална подкрепа“? Ако да, продължава. Ако не, редът се пропуска. Непълни данни не стигат до таблицата.
6. Запис обратно в Google таблицата
Едва сега извлечените числа се записват в правилните колони.
7. Пауза преди следващия ред
Сложих 10 секунди пауза между редовете, за да не затрупвам API-то на Google Sheets с твърде много заявки наведнъж, иначе автоматизацията може да бъде блокирана. Такива подробности се научават само от опит.
8. Затваряне на цикъла
Автоматизацията продължава ред по ред, докато обработи всички.
Защо избрах REGEX, а не AI модел
Можех да изпратя всеки текст от „Психопрофил“ на AI модел (LLM: голям езиков модел като ChatGPT или Claude) и да го помоля да извади числата. Много начинаещи правят точно това. Аз не го направих, и има четири причини.
| REGEX | AI модел | |
|---|---|---|
| Цена | Нищо. Работи локално, без външни заявки | Плащате за входящи и изходящи токени (единици текст, по които се таксува) при всеки ред, а стотици редове се натрупват бързо |
| Надеждност | 100% детерминиран: съвпада или не съвпада | Може да измисли число, да прочете текста различно или да пропусне малко по-различен формат |
| Скорост | Мигновен, без чакане по мрежата | Пътуване по интернет за всеки ред |
| С времето | Всеки нов особен случай става ново правило, което работи завинаги | Всеки нов особен случай значи по-дълга заявка, още тестове и надежда |
За последния ред: при AI модел не можеш да добавяш безкрайно текст в заявката, защото в някакъв момент започва да връща само грешки. REGEX решението става по-надеждно с възрастта. AI решението добавя все повече променливи.
AI е правилният избор, когато текстът е силно неструктуриран, когато шаблоните са твърде сложни за REGEX или когато трябва истинско разбиране на смисъла. Тук не беше така. Целта никога не беше „интелигентно тълкуване“. Целта беше абсолютна точност и повтаряемост.
Къде AI решенията се чупят в реалния живот
Ето разликите, които имат значение за собственик на бизнес, не само за програмист.
| Какво носи реалният живот | AI решенията | Моето решение |
|---|---|---|
| Разхвърлени данни: правописни грешки, тире вместо точка, липсващи стойности | Допускат чисти и еднакви данни | Всеки случай е обработен изрично |
| Ред, в който шаблонът не се намира | Сриват се или записват грешни данни | Редът се пропуска, записва се в журнал и се маркира за ръчна проверка |
| Лимити на API | Без ограничаване и без пауза | Пауза между редовете |
| „Работи ли?“ | Пускаш и забравяш, няма как да разбереш | Журнал на всяка стъпка, състояния на грешка за наблюдение, безопасно повторно пускане |
| „Достатъчно добро“ срещу готово за реална работа | В най-добрия случай сесия за мозъчна атака | Система, която работи и се справя с особените случаи без непрекъснат надзор |
Това не е статия за това, че „AI е лош“ или „хората са по-добри“. Тя е за разликата между работещо демо и реална система.
AI е много добър в разбирането на изисквания, в предлагането на подходи, в първоначални чернови и в обясняването на понятия. Засега е слаб в разбирането на оперативните ограничения, в предвиждането как нещата се чупят, в изграждането за дългосрочна поддръжка и в компромисите с бизнес контекст.
Резултатът не е продуктът, системата е продуктът
Когато плащате на някого да построи автоматизация или ползвате AI за това, не купувате работен процес, който е тръгнал веднъж, скрипт, който работи на съвършени данни, или демо, което впечатлява на среща. Купувате система, която се справя с грешки, може да се наблюдава и подобрява и няма да се счупи, когато бизнесът ви се промени.
Тук AI изостава. Не защото технологията е слаба, а защото реалните системи изискват преценка, опит и контекст, които AI няма.
Ползвам AI всеки ден. Пише по-бързо шаблонния код, изпробва подходи, помага ми да документирам и да търся грешки там, където съм заседнала. Но никога не му оставям последната дума за архитектурата, за обработката на грешки, за пускането в реална среда или за компромиса между скорост, цена и надеждност.
Представете си AI като млад програмист, който е невероятно бърз и знае много синтаксис, но никога не е пускал нещо в реална употреба. Спестява ви време. Все пак ви трябва човек с опит, който да прегледа работата и да хване особените случаи.
Какво да направите утре
Ако някой ви каже, че ще построи автоматизацията ви „100% с AI“, внимавайте. Не защото AI не може да помогне, а защото реалните системи изискват бизнес контекст, оперативен опит и преценка.
Преди да наемете когото и да е, или да ползвате AI инструмент, за да ви построи автоматизация, задайте тези пет въпроса:
- Как ще се справя това с грешки?
- Какво става, когато форматът на данните се промени?
- Как ще следим дали работи?
- Може ли безопасно да се пусне отново, ако нещо се обърка?
- Какъв е планът за поддръжка с времето?
Ако не могат да отговорят ясно, строят демо. И помнете разликата: „работи“ значи, че тръгва веднъж или няколко пъти с добри данни. „Готово за реална експлоатация“ значи, че се справя с лоши данни, възстановява се от грешки, може да се наблюдава, спазва лимитите на API и може да се поддържа от някой друг, не само от автора.
Следващите 12 месеца AI ще става много по-добър в строенето на автоматизации. Няма да замести човешкия опит, а ще го усили. Печелят строителите, които ползват AI, за да работят по-бързо, и човешка преценка, за да работят по-добре. Ще се провалят проектите, построени изцяло от AI без надзор. Скоростта без качество е просто скъп хаос.
Затова въпросът не е „Може ли AI да построи автоматизацията ми?“. Въпросът е „Може ли човекът, който я строи, да ползва AI умело и да гарантира, че доставеното работи в реалния свят?“
Ще прегледам процеса ви, ще кажа какво си струва да се автоматизира и ще ви отговоря честно дали автоматизацията има смисъл за вас точно сега. Без обещания, писани от AI, и без приказки от рода на „пусни и забрави“. Можете да запишете консултация при мен тук.
Въпроси и отговори
Може ли ChatGPT, Claude или Gemini да построят работеща автоматизация сами?
В моя тест нито един от тримата не даде решение, което да издържи в реална работа. Разбраха задачата, но работиха с измислени данни или с локални файлове вместо с истинската Google таблица и пропуснаха обработката на грешки и лимитите на заявките.
Защо използвахте REGEX, а не помоли AI модел да извади числата?
REGEX не струва нищо, отговаря мигновено и или намира шаблона, или не. AI моделът се плаща на ред, може да прочете грешно или да измисли число и става все по-трудно управляем с всеки нов особен случай.
Каква е разликата между работеща и готова за реална експлоатация автоматизация?
Работещата се пуска веднъж или няколко пъти с чисти данни. Готовата за реална експлоатация се справя с лоши данни, възстановява се от грешки, може да се наблюдава, спазва лимитите на услугите и може да се поддържа от човек, различен от този, който я е построил.
Какво да попитам човека или AI инструмента, преди да ми построят автоматизация?
Попитайте как ще се справя с грешки, какво става, когато форматът на данните се промени, как ще разберете, че работи, дали може безопасно да се пусне отново и кой ще я поддържа.