Fugu-MT 論文翻訳(概要): Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG

論文の概要: Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG

arxiv url: http://arxiv.org/abs/2608.26379v1
Date: Wed, 26 Aug 2026 20:07:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.170815
Title: Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG
Title（参考訳）: RAGにおける証拠認識検索の下流的有用性の評価
Abstract要約: 本研究では,検索者の比較,探索訓練の指導,下流の回答品質の予測,ジェネレータに供給された証拠のフィルタリングの4つの役割について回答支援信号について検討する。信号は検索ランキングを変更するが、下流値が一様ではない。検索者訓練を確実に改善せず、システム選択に使用する利点は、検索した証拠の使い方によって異なる。
参考スコア（独自算出の注目度）: 3.976291254896486
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval evaluation for retrieval-augmented generation (RAG) is increasingly designed around whether retrieved passages contain evidence that can support generation, rather than topical relevance alone. We study whether this closer alignment with downstream evidence needs also makes retrieval evaluation more useful for the decisions built from it. Across five retrieval benchmarks and an end-to-end TREC RAG 2025 setting, we examine an answer-support signal in four roles: comparing retrievers, guiding retrieval training and system selection, predicting downstream answer quality, and filtering the evidence supplied to a generator. The signal changes retrieval rankings, but its downstream value is not uniform. It does not reliably improve retriever training; the benefit of using it for system selection depends on how the generator is instructed to use the retrieved evidence; and retrieval scores based on it do not robustly predict answer quality on unseen topics. In a direct evidence intervention, human annotators confirm that filtering preferentially preserves passages containing useful answer evidence, yet different answer evaluators reach different conclusions about whether the resulting answers improve. These results show that making retrieval evaluation more closely reflect the evidence needed for generation does not by itself make every downstream use of that evaluation more reliable. RAG evaluation methods should therefore be assessed with respect to the particular comparisons, decisions, and conclusions they are intended to support.
Abstract（参考訳）: 検索拡張世代(RAG)の検索評価は、検索されたパスが、トピックの関連性のみでなく、生成を支援する証拠を含むかどうかを中心に、ますます設計されている。この下流の証拠と密接な連携が、検索評価をその決定に役立てるかどうかを考察する。 5つの検索ベンチマークとTREC RAG 2025の設定で,検索者の比較,検索指導とシステム選択,下流の回答品質の予測,生成元に供給された証拠のフィルタリングの4つの役割について回答支援信号について検討した。信号は検索ランクを変更するが、下流値は均一ではない。システム選択に使用する利点は、取得したエビデンスをどのように利用するかをジェネレータに指示することに依存し、それに基づく検索スコアは、目に見えないトピックの回答品質を堅牢に予測しない。直接的なエビデンス介入において、人間のアノテータは、フィルタリングは有用な答え証拠を含む通路を優先的に保存するが、結果の答えが改善するかどうかに関して異なる結論に達することを確認した。これらの結果から, 生成に必要となるエビデンスをより深く反映した検索評価を行うことは, 下流での評価をより信頼性の高いものにするものではないことが示唆された。したがって、RAG評価手法は、それらが支援しようとする特定の比較、決定、結論に関して評価されるべきである。

関連論文リスト

A Systems-Level Analysis of Sensitivity, Robustness, and Stability in Retrieval-Augmented Generation [0.0]
Retrieval-Augmented Generation (RAG) システムは最終回答精度を用いて評価されることが多い。本稿では,56回の試験走行においてRAG感度,ロバスト性,安定性の制御実験を行った。
論文参考訳（メタデータ） (2026-05-29T17:24:40Z)
Rethinking Reasoning-Intensive Retrieval: Evaluating and Advancing Retrievers in Agentic Search Systems [55.04168927059962]
推論集約的な検索は、単にトピックの類似性に一致するのではなく、下流の推論を支持する証拠を明らかにすることを目的としている。 BRIGHT-Proは、専門家による注釈付きベンチマークで、各クエリを複数アスペクトのゴールドエビデンスで拡張する。また,相補的な正と正条件の強陰性を生成するアスペクト分解型合成コーパスであるRTriever-Synthを構築した。
論文参考訳（メタデータ） (2026-05-05T17:42:50Z)
A Hybrid Retrieval and Reranking Framework for Evidence-Grounded Retrieval-Augmented Generation [0.0]
本研究は,バイオメディカルおよび医療関連文書質問応答における引用認識RAGのハイブリッド検索と再分類の枠組みを提案する。この枠組みは,25の生物医学的NLPおよび医療用トランスフォーマークエリを用いて,パイロットスケールの概念実証研究として評価された。その結果, 十分な証拠が得られれば, ハイブリッド検索, 再格付け, 保守的プロンプト, クレームレベルの評価が, RAG応答を裏付ける可能性が示唆された。
論文参考訳（メタデータ） (2026-05-03T01:33:31Z)
FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文参考訳（メタデータ） (2026-04-14T17:04:25Z)
Stateful Evidence-Driven Retrieval-Augmented Generation with Iterative Reasoning [7.701766930531068]
Stateful Evidence-Driven RAG with Iterative Reasoningは、質問応答をプログレッシブなエビデンス蓄積プロセスとしてモデル化するフレームワークである。このフレームワークは、ギャップと競合を特定するためにエビデンス駆動の欠陥分析を行い、クエリを反復的に洗練し、その後の検索をガイドする。複数の質問応答ベンチマークの実験では、標準的なRAGとマルチステップベースラインよりも一貫した改善が示されている。
論文参考訳（メタデータ） (2026-03-25T06:57:49Z)
Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文参考訳（メタデータ） (2026-03-09T18:20:20Z)
Rethinking the Reranker: Boundary-Aware Evidence Selection for Robust Retrieval-Augmented Generation [64.09110141948693]
Retrieval-Augmented Generation (RAG) システムは、現実的な検索ノイズの下でも不安定である。そこで我々は,BAR-RAGを提案する。このBAR-RAGは,発電機のGoldilocks Zoneをターゲットとした境界認識型エビデンスセレクタである。 Bar-RAGはノイズ検索において、エンドツーエンドのパフォーマンスを一貫して改善する。
論文参考訳（メタデータ） (2026-02-03T16:08:23Z)
Investigating the Robustness of Retrieval-Augmented Generation at the Query Level [4.3028340012580975]
推論中に外部知識を動的に組み込むソリューションとして、検索拡張生成(RAG)が提案されている。その約束にもかかわらず、RAGシステムは実際的な課題に直面し、特に、正確な検索のために入力クエリの品質に強く依存する。
論文参考訳（メタデータ） (2025-07-09T15:39:17Z)
Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)
ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。 ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。コードとデータセットをGithubで公開しています。
論文参考訳（メタデータ） (2023-11-16T00:39:39Z)
From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文参考訳（メタデータ） (2023-10-18T02:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。