Fugu-MT 論文翻訳(概要): RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation

論文の概要: RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2610.11183v1
Date: Thu, 08 Oct 2026 03:40:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:53.776893
Title: RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation
Title（参考訳）: RAG-Stress:Retrieval-Augmented Generationにおけるエビデンス信頼性の限界を探る
Abstract要約: RAG-Stress(英語版)は、検索強化世代における証拠依存の限界を調べるための診断プロトコルである。本研究では,各モデルの質問に対する誤解率(MR)を,検索なしで正確に解答する。我々は、APIモデル、オープンモデル、強化学習で訓練された検索エージェントにまたがる15のシステムを評価する。
参考スコア（独自算出の注目度）: 8.913068656400208
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Following retrieved evidence does not guarantee factual correctness: misleading evidence can induce a model to replace an answer it previously gave correctly. Standard accuracy measures obscure this behavior by combining answer replacement with preexisting errors. We introduce RAG-Stress, a controlled diagnostic protocol for examining the limits of evidence reliance in retrieval-augmented generation. The protocol holds the question and reference answer fixed, edits one assertion to support a designated incorrect answer, and crosses two source priority policies with three positions of the answer span within the evidence text. We measure misleading rate (MR) on each model's subset of questions answered correctly without retrieval, alongside clean accuracy on the full evaluation set. We evaluate fifteen systems spanning API models, open models, and search agents trained with reinforcement learning on TriviaQA-RC, HotpotQA, and SearchQA, with additional English and Chinese MedQA evaluations. Instructions that prioritize documents consistently produce higher MR than those permitting reliance on prior knowledge. Averaged over models and positions, the gap ranges from 10.9 to 13.5 percentage points across the three QA datasets. Mean MR follows End $>$ Beginning $>$ Middle under both policies, although individual models do not uniformly follow this ordering. A separate paired audit of 500 questions and two checkpoints supports increased harmful override without establishing a corresponding improvement in beneficial correction. These findings distinguish evidence adherence from factual reliability and motivate evaluating whether retrieved evidence preserves, replaces, or corrects a model's answers.
Abstract（参考訳）: 誤った証拠は、以前に与えられた答えを正しく置き換えるためのモデルを誘導することができる。標準精度は、応答置換と既存のエラーを組み合わせることで、この振る舞いを曖昧にする。 RAG-Stress(RAG-Stress)は,検索強化世代におけるエビデンス依存の限界を調べるための制御された診断プロトコルである。プロトコルは、質問と参照回答を固定し、指定された誤った回答をサポートするために1つのアサーションを編集し、エビデンステキスト内に、回答の3つの位置で2つのソース優先ポリシーを交差させる。提案手法は,各モデルの解答部分集合における誤解率(MR)を検索なしで正確に測定すると共に,完全評価セット上でクリーンな精度を計測する。我々は、TriviaQA-RC、HotpotQA、SearchQAで強化学習を訓練したAPIモデル、オープンモデル、検索エージェントにまたがる15のシステムを評価し、追加の英語および中国語のMedQA評価を行った。文書を優先する命令は、先行知識への依存を許容する命令よりも一貫して高いMRを生成する。モデルとポジションの平均的な差は、3つのQAデータセットの10.9から13.5ポイントである。平均MRは、両方のポリシーの下でEnd $>$start $>$ Middleに従うが、個々のモデルは、この順序に一様に従わない。 500の質問と2つのチェックポイントのペアによる個別の監査は、有益な修正の適切な改善を確立することなく、有害なオーバーライドの増加をサポートする。これらの知見は、証拠の付着と事実の信頼性を区別し、回収された証拠がモデルの回答を保存、置き換え、または修正するかどうかを評価する動機付けとなる。

関連論文リスト

Regime Boundary Alignment for Evidence-Gated Question Answering [14.305051281043378]
RBA(Regime Boundary Alignment)は、同じ質問と金の答えの一致した変種について、単一の読者を訓練する。 3つの種にまたがる3つのマルチホップQAデータセットでは、RCAはサポート対象の回答率を60パーセント以上削減する。結果は, 支持境界の両側で, 証拠有意な回答を学ばなければならないことを示唆している。
論文参考訳（メタデータ） (2026-09-25T18:48:13Z)
Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
私たちはJevとContractNLIの9つの言語モデルを比較します。制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
論文参考訳（メタデータ） (2026-09-23T10:53:01Z)
Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
論文参考訳（メタデータ） (2026-09-21T11:59:07Z)
Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay [3.888537003098864]
信頼と行動のマッピングを比較するための制御プロトコルであるMatched trajectory replayを提案する。マルチホップ質問応答システムにおいて, 生の言語的信頼度とポストホック等調音校正度を比較した。全体的な精度は、HotpotQAでは最大15ポイント向上するが、MuSiQueでは最大17ポイント低下する。
論文参考訳（メタデータ） (2026-08-27T09:15:33Z)
SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文参考訳（メタデータ） (2026-08-04T13:16:15Z)
AB-RAG: Adaptive Budgeted Retrieval-Augmented Generation for Reliable Question Answering [0.0]
AB-RAGはトレーニングフリーでバックボーンに依存しないフレームワークで、答えを生成する。信頼度を3つの信号の組み合わせから推定する。そして、停止するか、より多くの証拠を回収するかを決定する。
論文参考訳（メタデータ） (2026-06-27T21:08:14Z)
Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval [39.146761527401424]
Retrieval-Augmented Generation (RAG)は、外部の非パラメトリック知識を基礎として、Large Language Models (LLM)を改善する。既存のRAGメソッドは1つの初期クエリに依存しており、多くの場合、決定関連エビデンスよりもトピック的な関連性を好む。本稿では,RAGをトピック指向検索からエビデンス指向検索へ再帰させる訓練不要な事前検索フレームワークであるHCQRを提案する。
論文参考訳（メタデータ） (2026-03-19T15:15:58Z)
Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
論文参考訳（メタデータ） (2025-09-06T05:33:17Z)
Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。データセットの精度は6%向上した。
論文参考訳（メタデータ） (2024-10-07T00:09:50Z)
MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering [8.70509665552136]
チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
論文参考訳（メタデータ） (2023-07-21T18:35:24Z)
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文参考訳（メタデータ） (2023-02-10T09:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。