論文の概要: When Is Additional Retrieval Worthwhile? A Cost-Aware Study of Evidence Gain and Answer Reliability in RAG
- arxiv url: http://arxiv.org/abs/2610.37358v1
- Date: Tue, 27 Oct 2026 14:55:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.666824
- Title: When Is Additional Retrieval Worthwhile? A Cost-Aware Study of Evidence Gain and Answer Reliability in RAG
- Title（参考訳）: 検索の付加価値はいつあるか? : RAGにおけるエビデンス・ゲインとアンサーの信頼性について
- Abstract要約: 本研究では,高密度検索+リグレードベースラインとハイブリッド辞書・ディエンス・レトリバーのどちらを選択するかを選択する,コスト対応2アクション検索ポリシーについて検討する。
経路決定に先立って利用可能な特徴を用いたハイブリッド検索の疑問特有なインクリメンタルエビデンス-検索の利点を推定する。
- 参考スコア（独自算出の注目度）: 0.5482532589225553
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Retrieval-augmented generation (RAG) can benefit from more sophisticated retrieval, but extra retrieval may be unnecessary for many questions and gains in evidence retrieval may not translate into faithful or correct answers. We study a cost-aware, two-action retrieval policy that chooses between a dense-retrieval-plus-reranking baseline and a hybrid lexical--dense retriever. Rather than classifying baseline retrieval as simply successful or unsuccessful, we estimate the question-specific incremental evidence-retrieval benefit of hybrid retrieval using features available before the routing decision. A regularized linear model and decision threshold are selected using document-grouped cross-validation and frozen prior to held-out evaluation. On 60 previously unseen QASPER training-split articles (188 questions, 169 evidence-evaluable), the policy triggers hybrid retrieval on 46 questions (24.5\%) and obtains the same evidence Hit@10 as always-hybrid retrieval (78.70\%, versus 76.92\% for always-keep). Paired, paper-cluster bootstrap intervals do not establish a reliable utility advantage. We further compare generated answers from a 4-bit Qwen3-4B model under the three retrieval policies. Provisional answer-level assessments show no clear correctness or faithfulness improvement after partial review, despite the evidence-retrieval result. The generation assessments remain model-assisted and lack independent human validation. These results expose an important distinction between retrieving relevant evidence efficiently and improving the reliability of the generated answer. The work is presented as a reproducible empirical study, not a claim of statistically established answer-quality superiority.
- Abstract（参考訳）: 検索拡張世代(RAG)は、より洗練された検索の恩恵を受けることができるが、多くの質問に対して余分な検索は不要であり、証拠検索の利益は忠実で正しい回答にはならない。
本研究では,高密度検索+リグレードベースラインとハイブリッド辞書・ディエンス・レトリバーのどちらを選択するかを選択する,コストアウェアな2アクション検索ポリシーについて検討する。
ベースライン検索を単に成功または失敗と分類するのではなく、ルーティング決定の前に利用可能な特徴を用いたハイブリッド検索の疑問特有なインクリメンタルエビデンス検索の利点を推定する。
文書群クロスバリデーションを用いて正規化線形モデルと決定しきい値を選択し、ホールドアウト評価の前に凍結する。
60の未確認のQASPERトレーニングスプリット記事(188の質問、169のエビデンス評価可能な記事)では、このポリシーは46の質問(24.5の%)でハイブリッド検索をトリガーし、常にハイブリッドな検索(78.70の%、常にキープする76.92の%)と同じ証拠を得る。
ペアリングされた紙クラスターブートストラップ間隔は、信頼性の高いユーティリティの優位性を確立しない。
さらに、4ビットQwen3-4Bモデルから生成された回答を3つの検索ポリシーの下で比較する。
仮回答レベルの評価では、証拠検索の結果にもかかわらず、部分的レビュー後の明確な正当性や忠実性の改善は示されていない。
世代評価はモデル支援のままであり、独立した人間の検証が欠如している。
これらの結果は, 関連証拠を効率よく回収し, 得られた回答の信頼性を向上させることに重要な違いを呈する。
この研究は再現可能な実証的研究として提示され、統計的に確立された回答品質の優位性の主張ではない。
関連論文リスト
- DiscoveryRSI: Recursively Learning to Discover Valuable Hypotheses [54.28444810466223]
有用かつ検証可能な研究仮説の運用定義を導入する。
我々のDiscoveryRSIフレームワークは、マルチエージェント進化探索により仮説木を開発する。
仮説品質を総合的に評価するDFM-Benchを紹介する。
論文 参考訳（メタデータ） (2026-10-16T17:56:35Z) - Grounded Credit Assignment in Reinforcement Learning for Multi-Turn Search Agents [49.14597017870827]
Search-R1は7つのQAベンチマークの正確性を高めるが、Bamboogleでは84.0%から42.9%となっている。
検索と回答を別々に行うために,グラウンドド・クレジット・アサインメント(GCA)を提案する。
論文 参考訳（メタデータ） (2026-10-16T08:43:11Z) - CARA: Causally Guided Retrieval Agent for Question Answering [6.791276432623459]
既存のエージェントレトリバーは、グローバル検索とマルチホップ探索を適応的にバランスさせる。
我々は, 検索された証拠の因果関係を明確に評価する, 訓練不要でカウザリガイド付き検索エージェントであるCARAを提案する。
論文 参考訳（メタデータ） (2026-10-15T14:57:14Z) - REALHOP: Rethinking Multi-Hop Reasoning Evaluation via Behavioral Auditing [5.539696241335989]
概念的にコヒーレントな連鎖と正しい最終解は、それ自体がマルチホップ推論を確立するわけではないことを示す。
本稿では、エンティティをリボンドし、選択された関係を分解し、追跡可能な場所に証拠を配置する診断・構成・検証フレームワークであるREALHOPを紹介する。
論文 参考訳（メタデータ） (2026-09-29T08:17:42Z) - Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG [3.976291254896486]
本研究では,検索者の比較,探索訓練の指導,下流の回答品質の予測,ジェネレータに供給された証拠のフィルタリングの4つの役割について回答支援信号について検討する。
信号は検索ランキングを変更するが、下流値が一様ではない。検索者訓練を確実に改善せず、システム選択に使用する利点は、検索した証拠の使い方によって異なる。
論文 参考訳（メタデータ） (2026-08-26T20:07:45Z) - Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。
本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。
我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
論文 参考訳（メタデータ） (2026-08-03T08:46:48Z) - Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs [4.476374205849672]
ブラックボックス言語モデルの言語的信頼度は、検索ルーティングのための実用的な信号として機能する。
6つのQAベンチマーク、3つのモデルファミリー、3つの検索ポリシーで27,000のポリシーインスタンスを評価した。
論文 参考訳（メタデータ） (2026-07-28T11:30:25Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳（メタデータ） (2026-07-17T08:56:43Z) - Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems [55.04168927059962]
推論集約的な検索は、単にトピックの類似性に一致するのではなく、下流の推論を支持する証拠を明らかにすることを目的としている。
BRIGHT-Proは、専門家による注釈付きベンチマークで、各クエリを複数アスペクトのゴールドエビデンスで拡張する。
また,相補的な正と正条件の強陰性を生成するアスペクト分解型合成コーパスであるRTriever-Synthを構築した。
論文 参考訳（メタデータ） (2026-05-05T17:42:50Z) - Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction [0.28932261919131014]
検索プロセスの事実性に関する有意義な信頼度と生成した回答を関連付けることが重要である。
本稿では,新たな2段階の手法を提案する。
我々の研究は、幅広い自然言語産業応用のための新しいタイプの認証されたRAGシステムを確立するのに役立ちます。
論文 参考訳（メタデータ） (2026-05-04T11:28:19Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。