論文の概要: Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG

• arxiv url: http://arxiv.org/abs/2609.37469v1
• Date: Sun, 27 Sep 2026 17:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.51478
• Title: Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG
• Title（参考訳）: RAGで発生前にエビデンス・ギャップを検出するには、関連性は十分ではない
• Abstract要約: Retrieval-augmented Generationは、外部ソースで大きな言語モデルを構築する。 12個の発電機が40.0-99.3%の証拠不十分な質問に答えている。 質問のすべての部分がカバーされているか、どの文が答えを提供するのか、そして、その文を一緒に読んでいる小さな言語モデルで十分な判断を下すか、という3つの信号を組み合わせてRINSEを紹介する。
• 参考スコア（独自算出の注目度）: 2.164748306809488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) grounds large language models in external sources, but retrieved passages often name the right entities without providing the facts needed to answer. Even when instructed to abstain, 12 generators answer 40.0-99.3% of insufficient-evidence questions. Training generators to abstain ties the decision to model weights, may reward answers recalled from parametric knowledge, and still requires a full generator call. Can sufficiency be judged from the question and evidence alone, before any answer exists? We identify pitfalls in constructing insufficient-evidence tests: removing relevant evidence or pairing evidence with unrelated questions can reveal labels through lexical overlap or evidence position. We build a paired benchmark using substitution, deletion, and question-swap constructions that vary answer support while controlling selected surface features, such as word use. Sufficiency can be judged without generating an answer, but no single signal works across all datasets. We introduce RINSE (Relevance Is Not Sufficient Evidence), which combines three signals: whether every part of the question is covered, whether any passage offers an answer, and whether a small language model reading the passages together judges them sufficient. Across six datasets, RINSE ranks sufficient above insufficient evidence with a score of 0.837 (chance 0.5), exceeding the best of 10 prior methods (0.746) and a frontier model queried through an API (0.784). Its weakest dataset scores higher than any other method's weakest (0.684 vs. 0.676). RINSE runs locally before generation, taking 36.5 ms per question on a single GPU.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模な言語モデルを外部ソースに配置するが、検索されたパスは、答えるために必要な事実を提供することなく、しばしば正しいエンティティを命名する。 禁じるよう指示されたとしても、12個の発電機は40.0-99.3%の不十分な証拠の質問に答える。 発電機が重量をモデル化する決定を断ち切るための訓練は、パラメトリックの知識から想起された答えに報いる可能性がある。 答えがある前に、質問と証拠から十分判断できるだろうか? 関係する証拠を除去したり、無関係な問題と組み合わせることで、語彙の重複や証拠の位置を通じてラベルを明らかにすることができる。 単語使用などの選択された表面的特徴を制御しながら,回答支援の異なる置換,削除,質問スワップ構成を用いて,ペア化されたベンチマークを構築した。 十分性は答えを生成せずに判断できるが、すべてのデータセットで単一の信号は機能しない。 RINSE (Relevance Is Not Sufficient Evidence) では,質問のすべての部分がカバーされているか,どの文が回答を提供するのか,また,文をまとめて読む小さな言語モデルで十分な判断を下すか,という3つの信号を組み合わせる。 6つのデータセットの中で、RINSEは0.837(チャンス0.5)のスコアが10の先行手法(0.746)とAPI(0.784)でクエリされたフロンティアモデル(0.784)を上回り、不十分な証拠を十分に上回っている。 最も弱いデータセットは他のどの方法よりも高いスコア(0.684対0.676)。 RINSEは生成前にローカルで動作し、1つのGPUで1問あたり36.5ミリ秒かかる。

関連論文リスト

• EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
  接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
  論文  参考訳（メタデータ） (2026-09-15T12:18:19Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
  多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。 このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
  論文  参考訳（メタデータ） (2026-08-11T20:08:51Z)
• TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis? [1.7077233340294056]
  本稿では, 故障検出, 故障オリジンの局所化, 安全な停止を, 不十分な証拠で分離するベンチマークであるTelemetrySuffBenchを紹介する。 統一されたプロトコル、明示的な候補セット、無効なアウトプット会計、サブグループ分析、凍結したブラインドホールドアウトを用いて、5つのフロンティア言語モデルを評価する。
  論文  参考訳（メタデータ） (2026-08-08T03:54:22Z)
• AB-RAG: Adaptive Budgeted Retrieval-Augmented Generation for Reliable Question Answering [0.0]
  AB-RAGはトレーニングフリーでバックボーンに依存しないフレームワークで、答えを生成する。 信頼度を3つの信号の組み合わせから推定する。 そして、停止するか、より多くの証拠を回収するかを決定する。
  論文  参考訳（メタデータ） (2026-06-27T21:08:14Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
  本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。 共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。 制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
  論文  参考訳（メタデータ） (2026-05-05T09:05:40Z)
• Rethinking the Reranker: Boundary-Aware Evidence Selection for Robust Retrieval-Augmented Generation [64.09110141948693]
  Retrieval-Augmented Generation (RAG) システムは、現実的な検索ノイズの下でも不安定である。 そこで我々は,BAR-RAGを提案する。このBAR-RAGは,発電機のGoldilocks Zoneをターゲットとした境界認識型エビデンスセレクタである。 Bar-RAGはノイズ検索において、エンドツーエンドのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-03T16:08:23Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。