論文の概要: When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG

• arxiv url: http://arxiv.org/abs/2606.22728v1
• Date: Mon, 22 Jun 2026 00:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 05:03:12.836943
• Title: When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG
• Title（参考訳）: 信頼が誤った道をたどる時:RAGにおける検索状態ロックインの診断
• Authors: Sahib Julka,
• Abstract要約: 多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。 問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。 故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trustworthiness of a retrieval-augmented generation (RAG) system depends on more than the answer it returns, yet many black-box uncertainty methods still read agreement among sampled answers as confidence. That inference fails when repeated samples condition on the same defective retrieval state. The state may be empty, with the model falling back on parametric memory, or populated by a coherent but wrong neighbourhood. In either case, the answers agree because the error is stable. The problem is recognised in deployed RAG, but it has lacked a name, a measurable signature, and a prevalence bound. We supply all three. We name the failure retrieval-state lock-in and diagnose it by separating the three objects a single confidence score conflates: the answer surface, the retrieved evidence, and the retrieval state itself. In an inspectable, ontology-guided knowledge-graph RAG (KG-RAG) system across six question-answering snapshots, we measure the agreement blind spot directly: at five samples per question, 42% of KG-RAG errors and 59% of dense-retrieval errors carry zero answer dispersion, so agreement has nothing to rank, while evidence- and retrieval-state checks still flag most of them. The decomposition supports an auditable decision rule: accepting an answer only when answer, evidence, and retrieval checks all agree that it is low-risk reaches 91.9% pooled precision against a 69.7% accept-all rate. The cost is coverage: it certifies only 7.7% of answers as low-risk. On the clinical calibration domain it reaches 100% precision under an automated judge; this is an in-domain automated-label upper bound, not a clinical safety claim, and still needs human validation. Confidence in RAG is object-specific: when answers agree, the useful question is which part of the pipeline to distrust.
• Abstract（参考訳）: 検索強化世代(RAG)システムの信頼性は、返却された回答以上のものに依存しているが、多くのブラックボックス不確実性手法は、標本化された回答間での合意を信頼として読んでいる。 この推論は、同じ欠陥検索状態の繰り返しサンプル条件で失敗する。 状態は空で、モデルはパラメトリックメモリにフォールバックするか、コヒーレントだが間違った近傍に居住する。 いずれの場合も、解答は誤差が安定しているため一致している。 問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。 私たちは三つ全てを供給します。 本研究は, 3つのオブジェクトを単一の信頼度スコアで分離し, 解答面, 検索された証拠, 検索状態自体を分離して, 故障検索状態のロックインを命名し, 診断する。 調査可能なオントロジー誘導型知識グラフRAG (KG-RAG) システムでは,6つの疑問に答えるスナップショットに対して,合意の盲点を直接測定する。1問につき5つのサンプル,42%のKG-RAGエラー,59%の密検索誤差が回答の分散をゼロにするので,合意にランク付けすることはない。 答え、エビデンス、検索チェックのみを受理すると、低リスクが91.9%に達し、69.7%の受理率と一致している。 コストはカバー範囲であり、低いリスクで回答する割合は7.7%に過ぎません。 クリニカルキャリブレーション領域では、自動判定の下で100%精度に達する。これは、臨床安全クレームではなく、ドメイン内の自動ラベル上限であり、人間による検証が必要である。 RAGの信頼性はオブジェクト指向である。回答が同意すれば、有用な疑問はパイプラインのどの部分が不信になるかである。

関連論文リスト

• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning [16.398764816978584]
  リーンは、自然言語の数学的答えを判断するのにますます使われていますが、その信号は部分的です。 このシグナルは (i) 急激なカバレッジ依存であり, 証明に勝つ答えは高いカバレッジでは96%の確率で正しいが, 20%は低い。 7Bオートフォーマライザはわずか28%の問題でクラスを証明し、マニュアル監査ではその約43%が忠実であることがわかった。 受理された回答や棄権に縛られた有限サンプル選択リスクを認証する,リーントレース診断のためのセレクタであるCOVCALを提案する。
  論文  参考訳（メタデータ） (2026-05-27T11:59:28Z)
• MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
  大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。 本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。 ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
  論文  参考訳（メタデータ） (2026-05-26T15:38:46Z)
• Claim-Selective Certification for High-Risk Medical Retrieval-Augmented Generation [0.0]
  混在した証拠は、ある主張を支持し、別の主張の条件を必要とし、第三の主張に矛盾する可能性がある。 我々は、クレーム選択応答を検証可能なクレームに検証し、回収された証拠に対して評価し、インテントを意識したセレクタによって完全な、部分的、紛争、棄却にマッピングする。 結果として生じるインターフェースは、アクションラベル予測と、混在する証拠の下でのエビデンスリンクされたクレーム選択を分離する。
  論文  参考訳（メタデータ） (2026-05-21T03:29:50Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• The Last Word Often Wins: A Format Confound in Chain-of-Thought Corruption Studies [0.0]
  補正研究は、どのステップが計算上重要なのかを、ステップが破損した場合の精度損失から推定する。 ベンチマークチェーンが明確な終端応答ラインに終止符を打つと、これらのテストは中間計算を行う場所ではなく、主に空腹者の配置を計測する。
  論文  参考訳（メタデータ） (2026-05-11T16:26:50Z)
• Trust or Abstain? A Self-Aware RAG Approach [45.1230482333942]
  Retrieval-augmented Generation (RAG)は、外部のエビデンスを組み込むことで、大きな言語モデルを改善する。 既存のアプローチは、各回答パスが正しいかどうかを明示的に問うことなく、使用するソースをコーディネートする。 我々は、忠実なRAGはLLM自己認識、すなわち、自身の知識と推論の限界を認識する能力を必要としていると論じる。
  論文  参考訳（メタデータ） (2026-05-11T05:44:27Z)
• SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
  本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。 共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。 制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
  論文  参考訳（メタデータ） (2026-05-05T09:05:40Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。