Языковая модель, которую спросили о неизвестном ей параметре, редко отвечает «не знаю». Обычно она называет правдоподобное число. В переписке это выглядит убедительно, а для магазина оборачивается претензией: покупатель считает ответ на вашем сайте ответом продавца.
Почему так происходит
Модель не хранит справочник товаров и не сверяется с ним. Она предсказывает, какое продолжение текста наиболее вероятно.
Вопрос «какой крутящий момент у этой модели?» задаёт контекст, в котором вероятное продолжение — конкретное число в правдоподобном диапазоне. Модель его и выдаёт. Механизма, который отличил бы «знаю» от «звучит правильно», внутри просто нет.
Это не сбой и не недоработка конкретной модели. Это свойство того, как она устроена, и бороться с ним нужно снаружи.
Чем это грозит
Возвраты. Покупатель выбрал товар по параметру, которого у товара нет.
Претензии. Переписка сохраняется, и в ней ваш сайт обещал определённые характеристики.
Потеря доверия к остальным ответам. Один раскрытый выдуманный факт обесценивает всю консультацию, включая верные части.
Тихое искажение спроса. Если консультант уверенно рекомендует не то, вы этого не увидите в отчётах — только в возвратах через месяц.
Что не помогает
Просьба в инструкции. Формулировка «не выдумывай, если не знаешь» уменьшает частоту, но не убирает явление. Модель следует ей ровно до тех пор, пока не найдётся достаточно правдоподобное продолжение.
Более сильная модель. Крупные модели ошибаются реже, но ошибаются. Снижение частоты не решает проблему там, где цена одной ошибки — возврат.
Проверка ответов человеком. Работает, но убивает смысл: консультант нужен, чтобы отвечать без человека.
Что помогает
Ограничение источников
Модель отвечает только на основе явно переданных ей данных: карточка товара, найденные в каталоге позиции, база знаний. Не «знает вообще», а «видит эти данные».
Обязательный отказ
Если нужного значения в переданных данных нет, ответ формируется как отказ: «в характеристиках этого нет, могу уточнить у менеджера». Это должно быть свойством системы, а не пожеланием.
Разделение фактов и рассуждений
Числа, названия и цены берутся из данных дословно. Модели остаётся связная формулировка и объяснение — то, что она делает хорошо и где ошибиться нечем.
Проверка сгенерированного против источника
Если в ответе появилось число, которого нет в переданных данных, ответ не показывается. Простая проверка, снимающая основную часть риска.
Как проверить консультанта перед запуском
Список из десяти вопросов, на которые в ваших данных ответа нет:
- Параметр, которого нет в карточке, но который логично было бы ожидать.
- Характеристика товара, которого нет в вашем каталоге.
- Срок доставки в город, которого нет в базе знаний.
- Совместимость с моделью другого бренда.
- Наличие на конкретном складе, если складов в данных нет.
- Цена при объёме, если оптовых условий в базе нет.
- Гарантийный срок, если он не указан.
- Год выпуска модели.
- Страна производства, если её нет в фиде.
- Сравнение с товаром, которого у вас нет.
Правильный результат — десять честных отказов. Любой уверенный ответ здесь означает, что ограничение источников не работает.
Коротко
- Выдуманные факты — свойство устройства языковых моделей, а не дефект конкретной.
- Инструкция «не выдумывай» снижает частоту, но не убирает явление.
- Работает ограничение источников: модель отвечает только по переданным данным.
- Числа и названия должны браться из данных дословно, модели остаётся формулировка.
- Перед запуском консультанта нужно проверить десятком вопросов, ответа на которые в данных нет.