Открытые вопросы прекрасны ровно до того момента, когда перед тобой оказывается таблица на две тысячи строк. В ней вперемешку лежат полезные наблюдения, ответы «всё нормально» и то, о чём ты вообще не спрашивал.
Сначала нужно придумать категории. Потом разнести по ним ответы. Потом обнаружить, что часть категорий почти не используется, а другие стоило разделить. И начать заново.
Где-то здесь исследователь обещает себе больше никогда так не делать. В следующем опросе у человека уже будет готовый список вариантов и маленькое поле «Другое». Метод остался хорошим; просто разбираться с его результатами слишком хлопотно.
Вернуть вопрос человеку
Меня интересовала именно эта цена. Если обработка свободного ответа требует слишком много времени, мы меняем не только способ анализа — мы меняем то, о чём вообще готовы спрашивать. Вместо возможности рассказать о своей проблеме человек получает наши предположения о ней.
Так появился Grounded — мой инструмент для кодировки открытых ответов. Это Telegram-бот: ему отдаёшь массив ответов, он предлагает систему категорий, кодирует материал и объясняет свои решения. Если какая-то категория почти не используется, предлагает пересчитать результат без неё. Отдельная модель перепроверяет кодировку.
Категории приходится пересматривать. Ответ может подходить сразу к нескольким, а может не помещаться ни в одну. Объяснение позволяет посмотреть, почему бот отнёс его именно сюда, а пересчёт — не держаться за первую неудачную систему только потому, что в неё уже вложили два дня.
Бот, который написал AI
Инструмент я собирал с AI: код этого AI-бота написал AI. Моей отправной точкой была знакомая исследовательская задача, а не желание найти применение новой модели.
Для публичной версии я выбрал Telegram и попробовал оплату звёздами. При этом сразу оговорился: такой формат — эксперимент, а не готовая корпоративная инфраструктура. Через бота можно было проверить механику оплаты и разные способы улучшить кодировку.
Что считать результатом
В анонсе 2024 года я приводил ориентир: тысяча ответов за пять минут. Это скорость той версии, не доказательство точности. Проверка другой моделью тоже не превращает разметку в истину.
Исследователь по-прежнему отвечает за то, что означают категории, где потерялись важные различия и можно ли использовать результат для своего вопроса. Автоматический пересчёт помогает вернуться к категориям, которые не сработали с первого раза.
Я хотел вернуть открытые вопросы туда, где от них отказывались из-за хлопот с анализом. Поле «Другое — уточните, что именно» заслуживает лучшей судьбы.