論文の概要: Revisiting RAG Retrievers: An Information Theoretic Benchmark
- arxiv url: http://arxiv.org/abs/2602.21553v1
- Date: Wed, 25 Feb 2026 04:19:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.701878
- Title: Revisiting RAG Retrievers: An Information Theoretic Benchmark
- Title(参考訳): RAGレトリバーの再検討:情報理論ベンチマーク
- Authors: Wenqing Zheng, Dmitri Kalaev, Noah Fatsi, Daniel Barcklow, Owen Reinert, Igor Melnyk, Senthil Kumar, C. Bayan Bruss,
- Abstract要約: MIGRASCOPEは相互情報に基づくRAGレトリバー分析スコープである。
我々は、最先端のレトリバーを再検討し、情報と統計的推定理論に基づく原則付きメトリクスを導入する。
慎重に選択すれば、レトリバーのアンサンブルは、どのレトリバーよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 10.168016086591452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) systems rely critically on the retriever module to surface relevant context for large language models. Although numerous retrievers have recently been proposed, each built on different ranking principles such as lexical matching, dense embeddings, or graph citations, there remains a lack of systematic understanding of how these mechanisms differ and overlap. Existing benchmarks primarily compare entire RAG pipelines or introduce new datasets, providing little guidance on selecting or combining retrievers themselves. Those that do compare retrievers directly use a limited set of evaluation tools which fail to capture complementary and overlapping strengths. This work presents MIGRASCOPE, a Mutual Information based RAG Retriever Analysis Scope. We revisit state-of-the-art retrievers and introduce principled metrics grounded in information and statistical estimation theory to quantify retrieval quality, redundancy, synergy, and marginal contribution. We further show that if chosen carefully, an ensemble of retrievers outperforms any single retriever. We leverage the developed tools over major RAG corpora to provide unique insights on contribution levels of the state-of-the-art retrievers. Our findings provide a fresh perspective on the structure of modern retrieval techniques and actionable guidance for designing robust and efficient RAG systems.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) システムは、大規模な言語モデルにおいて関連するコンテキストを明らかにするために、検索モジュールに極めて依存する。
最近、多くのレトリバーが提案されているが、それぞれが語彙マッチング、密埋め込み、グラフ引用といった異なるランク原理に基づいて構築されているが、これらのメカニズムがどう違い、重複するかについての体系的な理解は残っていない。
既存のベンチマークは、主にRAGパイプライン全体を比較したり、新しいデータセットを導入したりする。
レトリバーと比較する人は、補完的な強みと重なり合う強みを捉えるのに失敗した、限られた評価ツールを直接使用します。
本研究は相互情報に基づくRAG Retriever Analysis ScopeであるMIGRASCOPEを提示する。
我々は,検索の質,冗長性,シナジー,限界寄与を定量化するために,最先端の検索手法を再検討し,情報と統計的推定理論に基づく原理的メトリクスを導入する。
さらに、慎重に選択すれば、レトリバーのアンサンブルは、どのレトリバーよりも優れていることを示す。
我々は、開発ツールを主要なRAGコーパスの上に利用し、最先端レトリバーのコントリビューションレベルに関するユニークな洞察を提供する。
本研究は,最新の検索手法の構造と,堅牢で効率的なRAGシステムを設計するための実用的なガイダンスについて,新たな視点を提供するものである。
関連論文リスト
- MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳(メタデータ) (2025-10-31T15:51:39Z) - SIRAG: Towards Stable and Interpretable RAG with A Process-Supervised Multi-Agent Framework [7.37561751991963]
本稿では,レシーバとジェネレータのギャップを埋めるプロセス管理型マルチエージェントフレームワークを提案する。
提案するフレームワークはモジュール式でプラグアンドプレイで、レトリバーやジェネレータを変更する必要はない。
論文 参考訳(メタデータ) (2025-09-17T09:09:28Z) - LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。
パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。
SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2025-06-16T17:53:18Z) - Intrinsic Evaluation of RAG Systems for Deep-Logic Questions [2.869056892890114]
本稿では,検索拡張生成(RAG)機構を深い論理的クエリを含むアプリケーションに適用するための本質的な指標である総合性能指標(OPI)を紹介する。
OPIは2つの重要な指標の調和平均として計算される: 論理関係の正確度比(Logical-Relation Correctness Ratio)と BERT の平均値。
論文 参考訳(メタデータ) (2024-10-03T19:25:05Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳(メタデータ) (2024-03-22T17:13:46Z) - RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。
RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
論文 参考訳(メタデータ) (2024-03-14T02:26:31Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。
ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。
コードとデータセットをGithubで公開しています。
論文 参考訳(メタデータ) (2023-11-16T00:39:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。