
Исследование №127
Что остаётся от длинного контекста, когда документ — настоящий договор
Мы задали одним и тем же моделям один вопрос по фрагментам договоров: какие пункты стоит показать юристу. Длина окна сама по себе ответ не улучшала.
Документы
Окно в сотни тысяч токенов полезно только там, где заранее известен вопрос к документу. Иначе модель пересказывает текст и пропускает риск.

Вендоры снова соревнуются длиной окна: в пресс-релизах всё больше нулей, а в работе всё тот же договор на двенадцать страниц. Новость звучит как обещание, что документ можно больше не читать. Лаборатория смотрит на это иначе.
Большое окно убирает технический барьер: файл больше не нужно резать на части вручную. Это полезно секретарю, аналитику и руководителю, который хочет задать один вопрос пачке приложений. Барьер смысла никуда не делся. Модель не знает, какой пункт для вас дорогой.
Сравнение на реальных фрагментах договоров мы описали в исследовании №127. Короткий вывод тот же, что и у новости: длина контекста — это вместимость, а не внимание.

Исследование №127
Мы задали одним и тем же моделям один вопрос по фрагментам договоров: какие пункты стоит показать юристу. Длина окна сама по себе ответ не улучшала.
Открытая модель снимает зависимость от одного API, но переносит на вас сервер, качество и ответственность за ответы.
Большинству компаний не нужен отдел по комплаенсу моделей. Им нужно понять, где ИИ принимает решение о человеке, а где только готовит черновик.