«Этот ответ лучше» — полезное начало разговора, но слабое описание критерия. Лучше для какого вопроса? Чем именно? Ответ, который подходит для одной задачи, может оказаться неудобным для другой.
В работе над оценкой Tone of Voice я разработал рубрики под разные типы задач и проводил слепое попарное сравнение AI-ответов. Исследовательский дизайн включал 200 пар ответов и 64 пользователя.
Сначала критерий
Рубрика делает оценку более явной. Она задаёт язык, на котором можно обсуждать качество ответа, вместо того чтобы сводить всё к общему впечатлению.
Для этой работы важна привязка к типу задачи. Например, краткость может помогать в одном сценарии, а в другом оставлять без нужного объяснения. Рубрика должна делать это различие явным, чтобы оценка относилась к конкретной задаче.
Моя задача заключалась в разработке таких рубрик и организации сравнения. Тем самым вопрос о тоне становился частью исследовательского дизайна: что именно предлагается оценить и как сопоставить ответы на одну задачу.
Почему попарно и вслепую
В попарном сравнении есть конкретная точка отсчёта — второй ответ. Вместо оценки по памяти или относительно воображаемого идеала человек сопоставляет два варианта.
В слепом формате имя системы скрыто: перед человеком находятся два ответа, которые нужно сопоставить. Такое устройство сравнения направляет внимание на содержание пары.
Что означает результат такой работы
200 пар и 64 пользователя описывают масштаб этого исследования. Эти числа не являются рейтингом моделей и не говорят, насколько улучшился продукт после него.
Для меня содержательная часть работы — соединение критериев, задач и способа сравнения. Предпочтение становится полезнее, когда понятно, к чему оно относится. Рядом с этой темой находится исследование доверия к AI-ответам: качество текста важно рассматривать вместе с тем, как человек его проверяет и продолжает свою работу.