RAG v3.2 Research - SpellBook

Исследование Апрель 2026 RAG v3.2

Мы провели комплексное исследование точности нашей RAG-системы на 80 экспертных вопросах в четырёх категориях документов — от законодательных актов до художественной литературы. Результаты показали точность до 89% на структурированных документах и значительный рост производительности в v3.2.

89%

Законы РБ

20 страниц

87%

Учебники

134 страницы

81%

Кодексы РФ

~800 страниц

41%

Худож. лит.

500 страниц

Точность RAG v3.2 по категориям документов

Средний балл из 5.0 по 20 экспертным вопросам на категорию

Законы РБ

4.45 / 5

20 стр.

Учебники

4.35 / 5

134 стр.

Кодексы РФ

4.05 / 5

~800 стр.

Худож. лит.

2.05 / 5

500 стр.

Прогресс: v3.0 → v3.2

Категории с наибольшим ростом точности

Кодексы РФ +2.5%

v3.0

79%

3.95

v3.2

81%

4.05

Художественная литература +52%

v3.0

27%

1.35

v3.2

41%

2.05

Как работает RAG v3.2

RAG (Retrieval-Augmented Generation) — метод, при котором ИИ-модель дополняет свои ответы информацией из базы знаний пользователя. В отличие от «чистых» языковых моделей, RAG позволяет работать с актуальными данными без дообучения.

Пайплайн обработки документов

1

Извлечение текста

PDF, DOCX, XLSX, PPTX, CSV, JSON, XML, HTML, MD

2

Parent-Child чанкинг

Parent = 2500 симв., Child = 500 симв., перекрытие 50

3

Contextual Enrichment

Отдельная ИИ-модель описывает каждый чанк (32 параллельных запроса)

4

Эмбеддинги

text-embedding-3-large (OpenAI), 3072 измерения

5

Qdrant индексация

Cosine similarity, обогащённый payload

Пайплайн поиска

1

Multi-Query

3 варианта запроса через отдельную ИИ-модель

2

Hybrid Search

BM25 + Vector + Keyword + Exact Term

3

Reciprocal Rank Fusion

Объединение всех стратегий через RRF (k=60)

4

Parent Resolution

Child → Parent замена для полного контекста

5

AI Reranking

4 батча × 25 = 100 чанков → топ-60 в LLM

Точность по уровню сложности вопросов

Сравнение v3.0 и v3.2 на сложных категориях

Кодексы РФ

6 файлов, ~800 страниц, 20 вопросов

Easy

97%

4.83

Med

69%

3.44

Hard

84%

4.20

Художественная литература

1 роман, 500 страниц, 1499 чанков

Easy

90%

4.50

Med

38%

1.91

Hard

31%

1.57

Оптимизации v3.2

При переходе с v3.0 на v3.2 были выявлены и исправлены 11 проблем в пайплайне. Ключевые улучшения:

RRF Fusion исправлен

Результаты Hybrid Search перезатирались дублирующим вызовом. Теперь Reciprocal Rank Fusion работает корректно, объединяя результаты BM25 и Vector поиска.

AI Reranking: 20 → 100 чанков

Батчи по 25 кандидатов, 4 параллельных запроса. В 5 раз больше документов оцениваются для отбора наиболее релевантных.

Расширенный контекст обогащения

Окно Contextual Enrichment увеличено с 200 до 400 символов. Ассистенты видят больше контекста, описания чанков стали точнее.

Понижен порог отсечения

Qdrant score порог снижен с 0.3 до 0.2 — перефразированные запросы теперь находят ответы, где раньше получали «не найдено».

Технические характеристики

Инфраструктура и масштаб системы на момент исследования.

380K

чанков в базе

796

баз знаний

4 431

файлов обработано

~90 сек

обработка 500 стр.

15-35 сек

время ответа

3072

измерений эмбеддинга

RAG v3.2 в SpellBook обеспечивает точность 81–89% на структурированных документах — уровень, сопоставимый с ведущими решениями на рынке.

Ключевые инновации — Contextual Enrichment, Multi-Query поиск, Hybrid Search с RRF и батчевый AI Reranking — позволяют находить релевантные фрагменты даже при перефразированных запросах. Переход RAG-операций на отдельную ИИ-модель сократил стоимость в 10 раз без потери качества.

Художественная литература остаётся фундаментальным ограничением классического RAG.

Меню

Как работает RAG v3.2

Оптимизации v3.2

Технические характеристики