論文の概要: Prompt-Based Abstention Fails Under Misleading Context: A Controlled Study of Small Frozen RAG Models

• arxiv url: http://arxiv.org/abs/2608.22228v1
• Date: Sun, 23 Aug 2026 05:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.657158
• Title: Prompt-Based Abstention Fails Under Misleading Context: A Controlled Study of Small Frozen RAG Models
• Title（参考訳）: ゆるやかな環境下でのプロンプト型異常:小型凍結RAGモデルによる検討
• Abstract要約: 誤りや誤解を招く証拠は、検索強化世代でも同じ問題ではない。 証拠が欠落している場合、モデルは確実に棄却されるが、明示的な棄却の下では、誤解を招く質問の41.6%は依然として答えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Missing and misleading evidence are not the same problem in retrieval-augmented generation (RAG), but prompt-based abstention treats them alike. Models abstain when context is absent, not when it is misleading. We introduce GRAB-RAG (Graded Abstention Benchmark for Retrieval-Augmented Generation), a paired benchmark that tests the same questions across four context conditions (supportive, degraded, missing, and misleading) in Natural Questions and HotpotQA. In the misleading condition, we edit a gold passage to support a wrong answer and place it among other retrieved passages. We test five abstention policies on three small frozen models (3.8B--8B) across two QA benchmarks. Models abstain reliably when evidence is missing, but under explicit abstention prompting still answer 41.6% of misleading questions, with 63% of those answers echoing the planted wrong entity verbatim. Chain-of-thought provides little additional benefit. A generator-side conflict check cuts the rate to 13.3% but discards many correct answers, while an NLI verifier recovers that coverage but fails when parametric memory and the misleading passage agree on the same wrong answer. Prompt-based abstention asks whether context is sufficient, not whether it is correct. Neither verifier closes this gap without trading coverage for safety.
• Abstract（参考訳）: 誤りや誤解を招く証拠は、検索増強世代(RAG)では同じ問題ではないが、プロンプトベースの棄権はそれらを同じように扱う。 コンテキストが欠如している場合のモデルは、誤解を招く場合ではなく、停止する。 GRAB-RAG(Graded Abstention Benchmark for Retrieval-Augmented Generation)は,Nature QuestionsとHotpotQAの4つのコンテキスト条件(サポート,劣化,欠落,誤解を招く)で同じ質問をテストするベンチマークである。 誤解を招く条件では、間違った回答をサポートするために金の通路を編集し、他の検索された通路に配置する。 我々は2つのQAベンチマークで3つの小型凍結モデル(3.8B--8B)に対して5つの禁忌ポリシーを検証した。 証拠が欠落している場合、モデルは確実に棄却されるが、明示的な棄権により、誤解を招く質問の41.6%は依然として答えられ、答えの63%は、誤って植えられたエンティティの動詞を反映している。 思考の連鎖は、追加の利益をほとんど与えない。 ジェネレータ側のコンフリクトチェックは13.3%に削減されるが、多くの正しい回答を破棄する一方、NLI検証器はそのカバレッジを回復するが、パラメトリックメモリと誤解を招くパスが同じ間違った回答に一致する場合に失敗する。 プロンプトに基づく棄権は、それが正しいかどうかではなく、文脈が十分かどうかを問う。 いずれの検証者も、安全のために取引をせずにこのギャップを閉じていない。

関連論文リスト

• EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
  接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
  論文  参考訳（メタデータ） (2026-09-15T12:18:19Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks [25.519850997497283]
  短解VQAベンチマークは2つの異なる量を説明する。 我々は、人間公認のセマンティック・ジャッジを使用して37k以上の公式エラーを監査する。
  論文  参考訳（メタデータ） (2026-07-11T10:01:29Z)
• When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG [0.0]
  多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。 問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。 故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
  論文  参考訳（メタデータ） (2026-06-22T00:08:00Z)
• SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
  本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。 共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。 制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
  論文  参考訳（メタデータ） (2026-05-05T09:05:40Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• CounterRefine: Answer-Conditioned Counterevidence Retrieval for Inference-Time Knowledge Repair in Factual Question Answering [1.1279808969568255]
  検索地上質問応答のための軽量な推論時間修復層であるCounterRefineを提案する。 CounterRefineは、最初に検索されたエビデンスから短い回答を生成し、その後、追加のサポートを集め、そのドラフト回答に条件付けられたフォローアップクエリと矛盾するエビデンスを集めます。 完全なSimpleQAベンチマークでは、CounterRefineは一致したGPT-5ベースラインRAGを5.8ポイント改善し、73.1%の精度で、報告された1ショットのGPT-5.4スコアを約40ポイント上回る。
  論文  参考訳（メタデータ） (2026-03-17T03:27:25Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering [58.04745279785462]
  Aqua-Benchは、Audio Question Unanswerability Assessmentのベンチマークである。 提案手法は,Absent Answer Detection,Incompatible Answer Set Detection,Incompatible Audio Question Detectionの3つのシナリオを体系的に評価する。 これらのケースを評価することで、Aqua-Benchはモデルの信頼性を厳格に測定する。
  論文  参考訳（メタデータ） (2026-01-18T03:55:28Z)
• When Robots Should Say "I Don't Know": Benchmarking Abstention in Embodied Question Answering [27.058973883094]
  EQA(Embodied Question Answering)は、エージェントが言語を解釈し、その環境を認識し、3Dシーン内をナビゲートして応答を生成する。 我々は、EQAエージェントに対する最小限の要件、棄権:いつ回答を控えるかを知ることに注力する。 我々は,行動可能性,参照的不特定性,嗜好依存,情報利用不能,虚偽の先入観の5つのカテゴリーを抽出した。
  論文  参考訳（メタデータ） (2025-12-04T09:17:40Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)
• Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly [100.60560477391732]
  我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。 私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。 最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。 これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
  論文  参考訳（メタデータ） (2022-04-28T16:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。