論文の概要: Page-Aware Retrieval-Augmented Generation for EvalLLM 2026: A Five-Variant Study on French PDFs
- arxiv url: http://arxiv.org/abs/2609.34776v1
- Date: Mon, 28 Sep 2026 09:51:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 02:57:56.897461
- Title: Page-Aware Retrieval-Augmented Generation for EvalLLM 2026: A Five-Variant Study on French PDFs
- Title(参考訳): EvalLLM 2026のためのページ認識検索生成:フランス語PDFの5変数解析
- Abstract要約: 5つのシステム変種は、BM25ベースラインに高密度検索、階数融合、階位変更、クエリ分解を追加する。
595の課題では、完全なシステムは0.4450 MRR@10と0.4013 Recall@10であり、BM25は0.3430と0.2994である。
- 参考スコア(独自算出の注目度): 0.33842793760651557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study retrieval-augmented generation (RAG) for questions about French PDF documents when both the answer and its supporting document pages are evaluated. Five system variants add dense retrieval, rank fusion, reranking, and query decomposition to a BM25 baseline. On 595 challenge questions, the complete system scores 0.4450 MRR@10 and 0.4013 Recall@10, compared with 0.3430 and 0.2994 for BM25. Dense retrieval alone and a simple lexical--dense fusion both underperform BM25. Reranking improves the hybrid system, whereas adding query decomposition produces the largest further gain, with higher latency and more detected output artifacts. The complete system slightly exceeds the reported anonymous overall mean on two answer metrics but falls below it on most page-retrieval metrics. These results identify accurate page selection, rather than semantic retrieval in isolation, as the main opportunity for improvement in this setting.
- Abstract(参考訳): 本研究では,フランス語PDF文書に関する質問に対する検索強化生成(RAG)について,回答とその支援文書ページの評価を行った。
5つのシステム変種は、BM25ベースラインに高密度検索、階数融合、階位変更、クエリ分解を追加する。
595の課題では、完全なシステムは0.4450 MRR@10と0.4013 Recall@10であり、BM25は0.3430と0.2994である。
ダンス検索単独と単純なレキシカル・デンス融合はどちらもBM25の低性能である。
リグレードはハイブリッドシステムを改善し、クエリ分解を追加することで、レイテンシが高く、出力アーチファクトがより検出される。
完全なシステムは、2つの回答の指標で報告された匿名全体の平均をわずかに上回るが、ほとんどのページ検索の指標ではそれを下回る。
これらの結果は、セマンティック検索ではなく、正確なページ選択を、この設定で改善する主要な機会として特定する。
関連論文リスト
- Hybrid Neural Retrieval with Generative Query Refinement for Quranic Passage Retrieval [0.25489046505746704]
クラニック・パッセージ・レトリーヴァル (PR) は、現代標準アラビア語 (MSA) と聖クラーンの古典アラビア語 (CA) の間の言語的複雑さと意味的ギャップのために難しい課題となる可能性がある。
本稿では,検索精度の向上と文脈理解を目的とした4相ニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2026-06-11T19:06:57Z) - From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents [0.0]
スパース, 密度, ハイブリッド融合, クロスエンコーダリグレード, クエリ拡張, インデックス拡張, 適応検索にまたがる10の検索戦略をベンチマークした。
我々はRecall@k,MRR,nDCGによる検索品質とNumber Matchによるエンドツーエンド生成品質を評価する。
論文 参考訳(メタデータ) (2026-04-02T07:53:40Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - Improving Document Retrieval Coherence for Semantically Equivalent Queries [63.97649988164166]
同じ文書を検索する際のモデルのコヒーレンスを改善する訓練DRにおける多段階ランク付け損失のバリエーションを提案する。
この損失は、多様だがセマンティックな等価なクエリのために検索されたトップkランクのドキュメント間の不一致を罰する。
論文 参考訳(メタデータ) (2025-08-11T13:34:59Z) - Evaluating Hybrid Retrieval Augmented Generation using Dynamic Test Sets: LiveRAG Challenge [8.680958290253914]
本稿では,動的テストセット上での検索強化生成システム(RAG)の評価を行うLiveRAG Challenge 2025を提案する。
我々の最後のハイブリッドアプローチはスパース (BM25) と高密度 (E5) の検索手法を組み合わせたものである。
RankLLaMA を用いたニューラルリランクでは MAP は0.523 から 0.797 に向上するが,計算コストは禁忌である。
論文 参考訳(メタデータ) (2025-06-27T21:20:43Z) - Language Model Re-rankers are Fooled by Lexical Similarities [48.10108272874251]
言語モデル(LM)リランカは、検索強化世代(RAG)の検索結果を洗練するために使用される。
NQ, LitQA2, DRUIDデータセット上で, 6種類のLM再ランカを評価した。
論文 参考訳(メタデータ) (2025-02-24T10:37:13Z) - Retrieval-Augmented Generation for Domain-Specific Question Answering: A Case Study on Pittsburgh and CMU [3.1787418271023404]
我々は、ドメイン固有の質問に答えるために、関連文書を含む大規模言語モデルを提供するために、検索型拡張生成システム(RAG)を設計した。
我々は,グリーディスクレーピング戦略を用いて1,800以上のサブページを抽出し,手動とMistralの生成した質問応答ペアを組み合わせたハイブリッドアノテーションプロセスを用いた。
我々のRAGフレームワークはBM25とFAISSレトリバーを統合し、文書検索精度を向上させるリランカで強化した。
論文 参考訳(メタデータ) (2024-11-20T20:10:43Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳(メタデータ) (2024-07-16T17:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。