
Длинный контекст не отменяет чтение договора
Окно в сотни тысяч токенов полезно только там, где заранее известен вопрос к документу. Иначе модель пересказывает текст и пропускает риск.
Модели
Открытая модель снимает зависимость от одного API, но переносит на вас сервер, качество и ответственность за ответы.
Каждый громкий релиз открытых весов читают дважды. Инженер видит способ оставить данные у себя. Руководитель слышит, что подписку можно отменить. Это разные новости, и вторая обычно неверна.
Свой контур. Можно не отправлять договор и переписку во внешний API. Можно выбрать поставщика сервера и заморозить версию модели, чтобы завтрашний апдейт не изменил тон писем. Для части компаний это обязательное условие, а не предпочтение.
В рейтинге PardAiLabs Llama и Qwen стоят ниже Claude и GPT по качеству и русскому языку и выше по бережности к бюджету и контролю. Это не противоречие. Это разные критерии. Выбирать открытые веса стоит, когда первый критерий — данные, а не когда первый критерий — «написать письмо не хуже сильной коммерческой модели».

Окно в сотни тысяч токенов полезно только там, где заранее известен вопрос к документу. Иначе модель пересказывает текст и пропускает риск.
Большинству компаний не нужен отдел по комплаенсу моделей. Им нужно понять, где ИИ принимает решение о человеке, а где только готовит черновик.
Демо ресепшена, который «умеет всё», почти никогда не доживает до платежа. Рабочий голосовой сценарий отвечает за одну операцию и умеет отдать человека человеку.