論文の概要: Generating Leakage-Free Benchmarks for Robust RAG Evaluation
- arxiv url: http://arxiv.org/abs/2605.08838v1
- Date: Sat, 09 May 2026 09:48:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.921168
- Title: Generating Leakage-Free Benchmarks for Robust RAG Evaluation
- Title（参考訳）: ロバストRAG評価のための漏洩フリーベンチマークの生成
- Abstract要約: Retrieval-augmented Generation (RAG) は、大規模な言語モデル(LLM)を外部知識で拡張するために広く使われている。
RAG性能をテストするために設計された多くのベンチマークデータセットは、LLMのパラメトリックメモリから既に答えられる多くの質問で構成されている。
半合成ベンチマーク生成パイプラインであるSeedRGを導入し、知識リークを軽減し、ベンチマーク老化の問題に対処する。
- 参考スコア（独自算出の注目度）: 21.380693848036547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) is widely used to augment large language models (LLMs) with external knowledge. However, many benchmark datasets, designed to test RAG performance, comprise many questions that can already be answered from an LLM's parametric memory. This leads to unreliable evaluation. We refer to this phenomenon as knowledge leakage: cases where RAG tasks are solvable without retrieval. This issue worsens over time due to benchmark aging. As benchmarks are reused for training, their contents are increasingly absorbed into model parameters, making them less effective for evaluating retrieval. We introduce SeedRG, a semi-synthetic benchmark generation pipeline that mitigates knowledge leakage and addresses the issue of benchmark aging. Starting from a seed benchmark dataset, SeedRG extracts a reasoning graph from question-context pairs to capture their underlying reasoning structure, and then generates new examples via type-constrained entity replacement. This process produces structurally similar but novel instances that are unlikely to exist in the model's parametric knowledge, while preserving the original reasoning patterns. To ensure quality, we incorporate two verification steps: (1) a reasoning-graph consistency check to maintain task difficulty, and (2) a knowledge-leakage filter to exclude instances answerable without retrieval.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模な言語モデル(LLM)を外部知識で拡張するために広く使われている。
しかしながら、RAG性能をテストするために設計された多くのベンチマークデータセットは、LLMのパラメトリックメモリから既に答えられる多くの質問で構成されている。
これは信頼できない評価につながります。
我々は、この現象を知識リークと呼ぶ:RAGタスクが検索なしで解決できる場合。
この問題は、ベンチマークの老朽化によって時間とともに悪化する。
ベンチマークがトレーニングのために再利用されるにつれて、それらの内容はモデルパラメータに徐々に吸収され、検索を評価するのがより効果的になる。
半合成ベンチマーク生成パイプラインであるSeedRGを導入し、知識リークを軽減し、ベンチマーク老化の問題に対処する。
SeedRGは、シードベンチマークデータセットから、質問コンテキストペアから推論グラフを抽出して、基礎となる推論構造をキャプチャし、タイプ制約されたエンティティ置換を通じて新しい例を生成する。
このプロセスは構造的に類似しているが、オリジナルの推論パターンを維持しながら、モデルのパラメトリック知識に存在しない新しいインスタンスを生成する。
品質を確保するために,(1)タスクの難易度を維持するための推論グラフ整合性チェック,(2)検索なしで応答可能なインスタンスを除外する知識推論フィルタの2つの検証ステップを組み込んだ。
関連論文リスト
- BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering [24.259268301904545]
検索拡張生成(RAG)による質問応答の一般的なアプローチは、文書を単一のコンテキストに制限し、それを言語モデルに渡して回答を生成することである。
この戦略は個々の文書の貢献を曖昧にし、帰属を難しくし、失業者の影響に寄与する。
本稿では,単一のコンテキストの組み合わせではなく,個々の検索文書に言語モデルを条件付けする新しいRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-24T16:01:19Z) - Transforming External Knowledge into Triplets for Enhanced Retrieval in RAG of LLMs [55.78708003681562]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を、生成時に外部知識を取り入れることで緩和する。
既存のRAGアプローチは通常、コンテキストとしてテキストフラグメントを検索し、非構造化する。
本稿では,三重項に基づく検索フレームワークTri-RAGを提案する。
論文 参考訳（メタデータ） (2026-04-14T11:36:29Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳（メタデータ） (2026-03-09T18:20:20Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳（メタデータ） (2025-11-27T19:01:02Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳（メタデータ） (2025-11-07T16:08:34Z) - FrugalRAG: Learning to retrieve and reason for multi-hop QA [10.193015391271535]
RAGメトリクスを改善するために大規模な微調整は必要ない。
監督されたRLベースの微調整は、粗悪さの観点からRAGに役立つ。
論文 参考訳（メタデータ） (2025-07-10T11:02:13Z) - Chain-of-Retrieval Augmented Generation [91.02950964802454]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。
本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
論文 参考訳（メタデータ） (2024-12-20T06:58:32Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳（メタデータ） (2024-03-31T08:58:54Z) - Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳（メタデータ） (2024-01-29T04:36:39Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳（メタデータ） (2020-05-22T21:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。