Агенты в поддержке: где они уверенно ошибаются

Вопрос исследования

Можно ли пустить агента в первую линию, если у него есть база готовых ответов и инструкция молчать, когда ответа нет. Нас интересовала не вежливость, а поведение на дырке в базе.

Как смотрели

Учебная база из сорока коротких ответов о вымышленном сервисе доставки. Половина вопросов клиентов в эту базу попадала. Половина — нет: соседняя тема, которой в регламенте не существует. Правильное поведение на второй половине — сказать, что ответа нет, и передать диалог человеку.

Что увидели

• На известных вопросах агент с поиском по базе отвечал короче и ближе к регламенту, чем голый чат.
• На неизвестных вопросах модель достраивала правдоподобный регламент. Запрет в инструкции снижал это, но не убирал.
• Самый надёжный тормоз был не в тексте инструкции, а в схеме: нет фрагмента в базе — нет генерации, только передача человеку.
• Вежливый тон не коррелировал с правильностью. Уверенно звучали и верные, и выдуманные ответы.

Как этим пользоваться

Пускайте агента только туда, где есть статья в базе. Отсутствие статьи — это маршрут к человеку, а не повод «ответить по смыслу». В чате это выглядит как поражение. В метриках поддержки это и есть качество.

Границы

Сервис вымышленный, база короткая, канал текстовый. Голосовой агент мы по этой методике ещё не гоняли. Вывод переносим на голос только как гипотезу: узкий маршрут и обязательная передача человеку.