論文の概要: Beyond Retrieval Failure: Understanding Why LLMs Miss Evidence in Multi-Hop RAG

• arxiv url: http://arxiv.org/abs/2610.21184v1
• Date: Thu, 15 Oct 2026 03:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.16474
• Title: Beyond Retrieval Failure: Understanding Why LLMs Miss Evidence in Multi-Hop RAG
• Title（参考訳）: LLMがMulti-Hop RAGに欠落している理由を理解する
• Abstract要約: マルチホップ検索拡張生成では、エージェントが依存サブクエストの証拠を取得する必要がある。 基準評価では、これら2つの原因を詳述している。 本研究は,探索漂流による検索障害の程度について検討する。
• 参考スコア（独自算出の注目度）: 44.56327342456175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-hop retrieval-augmented generation (RAG) requires an agent to retrieve evidence for a sequence of dependent sub-questions. When a wrong answer lacks a required passage, the passage may be inaccessible to the retriever, or the agent may have failed to issue a query that would retrieve it. Standard retrieval evaluations conflate these two causes. We study how much apparent retrieval failure is instead caused by search drift: the search no longer tracks an unanswered sub-question. Holding the retriever, corpus, and generation model fixed, we introduce ExecutionRAG, a training-free requirement register that records open sub-questions and their supporting evidence. The register changes search guidance but not evidence access, so each gold passage it recovers certifies that the passage was reachable by the original retriever. On 1,000 MuSiQue questions, the number of wrong answers with unretrieved required evidence falls from 382 to 234 with all-MiniLM-L6-v2 and from 383 to 274 with Qwen3-Embedding-0.6B. These counts correspond to 69% to 44% and 66% to 48% of each system's wrong answers, respectively. Crucially, evidence recovery does not produce a proportional reduction in total error: premature resolutions and abstentions increase as missing-evidence failures decrease. The central finding is therefore a shift in the remaining bottleneck, from guiding search toward required evidence to verifying that the retrieved evidence is sufficient.
• Abstract（参考訳）: マルチホップ検索強化世代(RAG)は、エージェントが依存サブクエストのシーケンスの証拠を取得する必要がある。 間違った答えが要求されるパスを欠いている場合、そのパスはレトリバーにアクセスできないかもしれないし、エージェントが検索するクエリを発行しなかったかもしれない。 基準評価では、これら2つの原因を詳述している。 検索はもはや未回答のサブクエストを追跡できない。 検索者,コーパス,生成モデルを固定し,オープンなサブクエストとその支援証拠を記録する訓練不要要件レジスタであるExecutionRAGを導入する。 レジスタは、検索ガイダンスを変更するが、証拠アクセスはしないので、回復した金の通路は、元のレトリバーによってその通路が到達可能であることを認証する。 1000の MuSiQue の質問では、未検索の証拠による間違った答えの数は、全MiniLM-L6-v2 で 382 から 234 に、Qwen3-Embedding-0.6B で 383 から 274 に減少する。 これらの数値は、それぞれのシステムの間違った回答の69%から44%、そして66%から48%に相当する。 重要なことに、エビデンス回復は総誤差を比例的に減少させない: 未確認の失敗が減少するにつれて、未解決の解決と棄権が増加する。 したがって、中心的な発見は、探索を必要な証拠へと導くことから、得られた証拠が十分であることを示すことまで、残りのボトルネックのシフトである。

関連論文リスト

• Learning to Retrieve Missing Evidence for Long-Term Memory QA [15.24197510345149]
  我々は,世界規模で検索可能なメモリを疑問固有なエビデンス状態から分離するMERA(Missing-Evidence Retrieval Augmentation)を導入する。 我々は、強化学習を通じて軽量プランナーを訓練し、欠落した証拠を回収するクエリに報いる。 Qwen3-30Bのエビデンス処理と回答生成で、訓練された0.6BプランナーはLoCoMoで77.40%、LongMemEval-Sで71.29%の精度を達成した。
  論文  参考訳（メタデータ） (2026-09-29T13:02:16Z)
• Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG [2.164748306809488]
  Retrieval-augmented Generationは、外部ソースで大きな言語モデルを構築する。 12個の発電機が40.0-99.3%の証拠不十分な質問に答えている。 質問のすべての部分がカバーされているか、どの文が答えを提供するのか、そして、その文を一緒に読んでいる小さな言語モデルで十分な判断を下すか、という3つの信号を組み合わせてRINSEを紹介する。
  論文  参考訳（メタデータ） (2026-09-27T17:39:51Z)
• Diagnosing the Fact-Grounding Gap in Multi-Hop Question Answering [3.5306064069287864]
  マルチホップ質問応答には、複雑な質問に答えるために、複数のドキュメントからの情報を組み合わせる必要がある。 これらのシステムはますます有能になっているが、失敗すると、エラーは典型的には正しい文書を見つけられないためである。 これらを3つの標準マルチホップQAベンチマークで検討し、障害が2つの異なるモードに分解されることを見出した。
  論文  参考訳（メタデータ） (2026-09-15T11:51:52Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Before Reasoning Can Fail: Pre-Evidence Procedural Failures in Agentic RAG [0.7161783472741748]
  エージェント検索拡張生成(RAG)システムは、エビデンス条件の推論がテストされる前に失敗する可能性がある。 我々は,この故障モードをエージェント軌道の手続き的特性として検討する。 ReadGateは,検索後およびファイナライゼーション前において,エージェントが読み取る必要のある最小限のランタイムである。
  論文  参考訳（メタデータ） (2026-08-03T10:09:19Z)
• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
  ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
  論文  参考訳（メタデータ） (2026-08-03T08:46:48Z)
• Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
  検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。 我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。 私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
  論文  参考訳（メタデータ） (2025-03-06T23:23:13Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。