Обогащение каталога

Ревью правок ИИ: как проверить тысячу карточек и не принять мусор

Как устроена проверка предложений модели, что смотреть в первую очередь, зачем нужна оценка уверенности и когда можно принимать пачкой.

Филимонов Иван3 мин чтения
Абстрактная синяя сетка из линий и точек
Фото: Conny Schneider / Unsplash

Модель предложила правки по трём тысячам карточек. Проверить всё вручную — неделя работы контент-менеджера, а принять не глядя — способ засорить каталог. Разбираем схему проверки, которая занимает часы и ловит главное.

Что вообще проверяют

Не «хороший ли текст», а три конкретные вещи:

  1. Не появилось ли фактов, которых не было. Главная опасность.
  2. Не потерялось ли то, что было. Правка не должна выбрасывать заполненную характеристику.
  3. Соответствует ли формулировка вашему стилю. Наименее критично, легко правится.

Первый пункт стоит первым и по важности, и по порядку проверки.

Сортировка по уверенности

Модель должна оценивать, насколько она уверена в каждой правке. Это позволяет не смотреть всё подряд.

Уверенность Что делать
Высокая выборочная проверка нескольких десятков
Средняя просмотр по диагонали, внимание к числам
Низкая смотреть каждую

Обычно нижняя часть списка невелика, и именно там сосредоточены проблемы. Верхняя часть — механические правки вроде приведения названия к единому виду, и они безопасны.

Отдельный фильтр: появившиеся числа

Самая полезная выборка из всех — все правки, где в результате есть число, которого не было в оригинале.

Переформулированный текст безопасен: модель переставила слова. Появившаяся характеристика требует источника — она либо взята со страницы товара, либо выведена из названия, либо выдумана. Третий случай нужно поймать.

Если фильтра «появились новые числа» в инструменте нет, его отсутствие — само по себе повод насторожиться.

Оригинал и предложение рядом

Проверка возможна только тогда, когда видно, что было и что стало. Экран, показывающий только результат, проверкой не является: контент-менеджер не помнит, как выглядели три тысячи карточек.

Нужны:

  • исходное значение и предложенное — в соседних колонках;
  • подсветка того, что изменилось;
  • возможность отфильтровать по типу правки: только названия, только характеристики, только описания.

Правка руками — нормальное действие

Частая ошибка в устройстве таких инструментов: правка предлагается по принципу «принять или отклонить». На практике половина предложений хороша на восемьдесят процентов — нужно поправить слово или единицу измерения.

Если ручная правка превращает карточку в «отклонённую», статистика перестаёт что-либо означать, а контент-менеджер начинает принимать не глядя, чтобы не портить показатели.

Правильно: любая ячейка редактируется, и отредактированная карточка считается принятой.

Когда можно принимать пачкой

Массовое принятие оправдано, когда выполнены все три условия:

  1. Правки одного типа — например, только приведение единиц измерения.
  2. Уверенность высокая.
  3. Выборка из этой группы проверена вручную и ошибок не нашлось.

Принимать пачкой разнородные правки с разной уверенностью нельзя — именно так в каталог попадает то, что потом ищут месяцами.

Обратимость

Любое массовое изменение должно откатываться. Не «можно восстановить из резервной копии», а именно откат конкретной пачки правок.

Причина практическая: ошибка в правилах обнаруживается не сразу. Через неделю выясняется, что во всей категории единицы приведены неверно, — и без отката это ручная работа по тысяче карточек.

Порядок работы

  1. Запустить обработку на одной категории, а не на всём каталоге.
  2. Проверить результат целиком — это несколько сотен карточек.
  3. Исправить правила, если нужно.
  4. Запустить на остальном каталоге.
  5. Проверять по схеме: низкая уверенность целиком, высокая выборочно, новые числа отдельно.

Первые два пункта экономят больше всего времени: ошибка в правилах, найденная на трёхстах карточках, стоит часа, найденная на тридцати тысячах — недели.

Коротко

  • Проверяют три вещи: появившиеся факты, потерянные данные, стиль. Первое — главное.
  • Сортировка по уверенности позволяет смотреть внимательно только нижнюю часть списка.
  • Отдельный фильтр «появились новые числа» ловит основной риск.
  • Ручная правка ячейки должна считаться принятием, а не отклонением.
  • Обработку начинают с одной категории и проверяют её целиком, прежде чем запускать на всём каталоге.

Вопросы по теме статьи

Нужно ли проверять все карточки вручную?

Нет. Разумная схема: отсортировать по уверенности модели, внимательно смотреть нижнюю часть, а верхнюю проверить выборочно — несколько десятков карточек из разных категорий.

На что смотреть в первую очередь?

На появившиеся числа и названия. Переформулированный текст безопасен, а вот характеристика, которой не было в оригинале, требует источника.

Что делать, если правка почти хорошая?

Править ячейку вручную. Ручная правка не должна превращать карточку в отклонённую — это нормальная часть работы, а не исключение.

Обогащение карточек товаров: описания, характеристики и теги

ИИ исправляет названия, пишет описания и дополняет характеристики, вы принимаете правки в таблице. Цены, наличие и артикулы не трогаются. На выходе — готовый YML.

Читайте дальше