«Консультант обработал 1400 диалогов за месяц» — число, которое ничего не значит. Диалоги открывают из любопытства, бросают на первой реплике и запускают повторно. Разбираем, что действительно стоит считать.
Главная метрика
Разница в конверсии между открывшими чат и не открывшими — с одной существенной оговоркой.
Оговорка в том, что открывшие чат изначально более заинтересованы: они дошли до карточки и у них появился вопрос. Прямое сравнение завышает эффект.
Честный способ — сравнивать сегменты, попавшие на одни и те же карточки, а лучше — включать консультанта не для всех сразу и сравнивать группы. Это дольше, но даёт число, на которое можно опираться.
Что считать кроме этого
Доля вопросов с ответом
Сколько раз консультант ответил по существу против «не знаю».
Низкая доля почти всегда означает не проблему модели, а пустые характеристики и неполную базу знаний. Это самая полезная диагностическая метрика: она показывает, где чинить.
Темы вопросов без ответа
Список, отсортированный по частоте. По сути — план работ по каталогу: обычно там несколько повторяющихся тем, за которыми стоит незаполненное поле в фиде.
Число лидов
Диалоги, закончившиеся оставленным контактом. Считать нужно вместе с конверсией этих лидов в заказ: сто контактов, из которых ничего не вышло, — не достижение.
Доля передач менеджеру
Не провал, а нормальная часть работы. Тревожно, если она близка к нулю — значит, консультант отвечает там, где должен передавать, и делает это, вероятно, выдумывая.
Повторные обращения
Один и тот же посетитель вернулся с тем же вопросом — признак, что первый ответ не помог.
Метрики, которые вводят в заблуждение
Количество диалогов. Растёт от заметности кнопки, а не от пользы.
Средняя длина диалога. Длинный разговор может означать и вовлечённость, и то, что консультант не может ответить с первого раза.
Оценка «полезен / бесполезен». Ставят единицы, и почти всегда недовольные. Как сигнал о проблемах годится, как метрика — нет.
Время ответа модели. Важно для впечатления, но не говорит о качестве.
Что смотреть глазами
Числа не показывают главного — как именно консультант отвечает. Раз в неделю полезно прочитать десяток случайных диалогов и проверить:
- Не появились ли в ответах числа, которых нет в карточках.
- Не обещает ли консультант сроков и условий, которых нет в базе.
- Не уходит ли разговор в общие рассуждения вместо конкретики.
- Уместно ли он просит контакт.
- Понятно ли, что это не человек.
Первый пункт — самый важный. Выдуманное число не поймает ни одна автоматическая метрика, а стоит оно дороже всего остального.
Через какой срок оценивать
Не раньше месяца. Причины:
- первые недели идёт поток любопытствующих;
- база знаний в начале неполна, и доля «не знаю» завышена;
- сезонность и рекламные всплески искажают недельные срезы.
Разумный ритм: через месяц — первая оценка и правка данных; через три — вывод о пользе.
Коротко
- Главная метрика — разница в конверсии, но её нужно очищать от того, что чат открывают более заинтересованные.
- Доля вопросов без ответа диагностирует данные, а не модель.
- Список тем без ответа — готовый план работ по каталогу.
- Передача менеджеру — нормальный исход; её отсутствие подозрительнее её наличия.
- Раз в неделю диалоги нужно читать глазами: выдуманное число автоматика не поймает.