RAG: как дать модели ваши документы

Retrieval-Augmented Generation — неуклюжее имя простой схемы. Сначала поиск находит куски ваших документов. Потом модель отвечает, глядя на эти куски. Она не «выучила базу». Она прочитала найденное.

Когда схемы достаточно

• Ответ должен ссылаться на регламент, прайс или переписку.
• Документов больше, чем влезает в один запрос, либо вы не хотите платить за весь архив каждый раз.
• Вам нужно видеть, какой фрагмент попал в контекст.

Почему ответ получается пустым

Почти всегда виноват поиск, а не модель. Слишком крупные куски, одинаковые заголовки, сканы без текста, вопрос, в котором нет слов из документа. Прежде чем менять модель, посмотрите, какие три фрагмента нашлись. Если среди них нет нужного абзаца, улучшать формулировку ответа бессмысленно.