Custom AI системи, които издържат и след демото

RAG за знание, което се променя и трябва да се цитира; fine-tuning за формат, тон и латентност при стабилна задача с голям обем. Ефективното дообучаване направи изчислението евтината част още преди години — QLoRA събра модел от 65B параметъра на един GPU с 48GB още през 2023 г., а моделите с отворени тегла оттогава само олекнаха. Разходът е означеният набор от данни и eval пакетът. Две неща се пропускат: обикновено не можете да дообучите челния хостван модел, който ползвате в момента, а дестилирането на изходите му към по-малък модел е лицензен въпрос, преди да е инженерен — затова проверяваме условията, преди да го предложим. На практика редът е първо RAG, а после дестилиране на утвърдения масов път към по-малък модел, щом корекциите се натрупат в обучаващ набор.

Пускаме системи на български: дигиталният речник на beron.mon.bg, изграден за Министерството на образованието и науката и използван в българските училища — отворете го и го проверете. Това е търсене в български изходен текст, публично, а не демо. То е и единствената ни публична референция за езикова система на български; останалото ни е европейски маркетплейс за автомобили с над 300 000 обяви, NLP модул, който класифицира и подготвя отговори на търговски запитвания по имейл и в Instagram — около 85% по-малко ръчно писане по повтарящите се въпроси по измерване на самия клиент, като всеки отговор се одобрява от човек, преди да тръгне — и автоматизация на имейл маркетинга, която намали времето за комуникация на козметична марка с 60%. Четири проекта — това е пълният списък. Оттам нататък се измерва, а не се предполага. Модели, бенчмаркнати основно на английски, обикновено са с 5–15 точки по-слаби на български, а една обща оценка го скрива напълно. Поддържаме отделен български golden set, избираме embedding и reranking модели по измерено представяне на кирилица, а не по маркетинг, и налагаме терминологията с валидиран глосар вместо с инструкция в prompt-а.

Измерва се на решена задача, а не на токен, защото евтина заявка, която иска три повторения, не е евтина. Типичните стойности са 0,01–0,05 € за кеширан отговор с търсене и 0,20–1,50 € за многостъпков агентен случай. Лостовете са кеширане на prompt-а при 0.1x на четене, Batch API при 50% за всичко, което не е чувствително към латентност, и маршрутизиране на класификацията и извличането към малък модел. Мерим числото от първата седмица.

И двете са решими и мястото им е в договора, а не в уверение. Endpoints в европейски региони на Bedrock, Vertex или Azure със zero-data-retention там, където доставчикът го предлага, условия по чл. 28 GDPR, или изцяло self-hosted отворени тегла на OVHcloud, Scaleway или Hetzner зад vLLM. Self-hosting е реална опция с реална икономика: continuous batching се изплаща само при устойчива заетост, затова го моделираме срещу вашите реални заявки в секунда.

Не, но ви трябва един поименен собственик на golden set-а. Repository-то е обикновен Python или TypeScript плюс CI job, а таблата са Langfuse или Phoenix. Наистина специфичното ML умение е да се четат trace-ове и да се етикетират честно, което експерт по предметната област прави по-добре от инженер. Обучаваме този човек по време на предаването и оставяме ръководството за етикетиране.

Тънък вертикален срез зад feature flag обикновено излиза 3–5 седмици след прегледа на trace-овете и е истински: вашите документи, вашето търсене, вашите цитати, вашият golden set. Пълното разгръщане зависи почти изцяло от състоянието на изходния материал. Ако документите ви нямат метаданни за ревизия и няма един източник на истина, първите седмици са обработка и управление на съдържанието, а не моделиране — и ще ви го кажем, преди да подпишете.