Симптом знакомый: корпоративный ассистент отвечает гладко и уверенно, но в ответе устаревший регламент или пункт договора, которого нет. Первая реакция — «модель плохая, давайте возьмём другую». Обычно это не помогает: модель отвечает на то, что ей подали. Проблема выше по цепочке.
ERR_01. Нет контроля источников
Модель не нашла ответ в подобранных фрагментах — и достроила его сама. Если системе не запрещено говорить «не знаю», она отвечает всегда.
Как чинить: отвечать только по найденным фрагментам, показывать источник у каждого утверждения, задать порог релевантности. Ниже порога — честное «в документах этого нет».
ERR_02. Документы нарезаны вслепую
Нарезка «по N символов» режет таблицу пополам, отрывает пункт от заголовка раздела, смешивает куски разных документов. В поиск попадает фрагмент без контекста, и модель додумывает недостающее.
Как чинить: резать по структуре — разделы, пункты, строки таблиц. Хранить заголовки и метаданные вместе с фрагментом. Таблицы и сканы обрабатывать отдельно.
ERR_03. Индекс живёт своей жизнью
Регламент обновили в понедельник, а индекс пересобирали месяц назад. Бот честно отвечает по старой версии. Хуже, когда в индексе лежат обе версии и он выбирает случайную.
Как чинить: обновлять индекс из источника автоматически, хранить версию и дату у каждого документа, при конфликте отдавать приоритет актуальной. И следить за свежестью, как за любым другим показателем системы.
ERR_04. Никто не измерял качество
Пилот проверяли на десятке вопросов, которые знал разработчик. В проде люди спрашивают иначе — другими словами, про другое, с опечатками.
Как чинить: собрать набор реальных вопросов с эталонными ответами и прогонять его при каждом изменении. Смотреть три вещи: нашла ли система нужный документ, ответила ли по нему, сослалась ли на него.
Что общего
Ни одна из четырёх причин не про модель. Это инженерия вокруг неё: данные, поиск, контроль, измерение. Хорошая новость в том, что всё это чинится, и обычно без замены модели.
Быстрая проверка вашего ассистента:
- показывает ли он источник у ответа?
- умеет ли сказать «не знаю»?
- как часто обновляется индекс?
- есть ли набор вопросов для проверки качества?
- кто смотрит на ответы после запуска?
Если ваш ассистент уже работает, но ему не верят, пришлите пару примеров плохих ответов. Разберём за 30 минут и покажем, где ломается.
