論文の概要: EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models

• arxiv url: http://arxiv.org/abs/2609.17081v1
• Date: Tue, 15 Sep 2026 12:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.517231
• Title: EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models
• Title（参考訳）: EviScope: 忠実で効率的な基底言語モデルのための対実的証拠診断
• Abstract要約: 接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grounded language-model systems are often evaluated by final answer accuracy, yet a correct answer can be unsupported, drawn from the wrong source, or produced when evidence is insufficient or contradictory. We introduce EviScope, a paired counterfactual benchmark that holds the question fixed while adding, removing, distracting, or contradicting its evidence. EviScope-v1.1 contains 40 four-condition quartets with repaired counterfactual claims and span-level support labels for automatic evaluation. Across 960 gold-blind generations from Qwen2.5-7B, Llama 3.1 8B, and Gemini 3.5 Flash, paired metrics expose model-dependent grounding behavior that answer accuracy hides. On two local open models, an explicit evidence-action gate underperforms vanilla RAG on QCS: 0.15 vs. 0.50 for Qwen and 0.10 vs. 0.375 for Llama. Gemini reaches 0.944 joint success under both prompts, yet still answers 5% of conflict cases after contradiction insertion. EviScope therefore distinguishes unsupported answering, conflict blindness, and wrong non-answer actions rather than scoring answers alone.
• Abstract（参考訳）: 接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。 EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら、疑問を定めている。 EviScope-v1.1には40の4条件クォーテがあり、修理済みの偽装クレームと自動評価のためのスパンレベルサポートラベルがある。 Qwen2.5-7B、Llama 3.1 8B、Gemini 3.5 Flashから960世代にわたって、ペア化されたメトリクスは、正確性に答えるモデル依存のグラウンドディング動作を隠蔽する。 2つのローカルなオープンモデルでは、明示的なエビデンス・アクション・ゲートがQCS上でバニラRAGを過小評価している: Qwenでは0.15対0.50、Llamaでは0.10対0.375である。 ジェミニは両方のプロンプトの下で0.944の合同成功を達成したが、矛盾挿入後の紛争事件の5%は依然として答えている。 したがって、EviScopeは、単独で回答を採点するよりも、支持できない回答、対立の盲目、間違った非回答行動とを区別する。

関連論文リスト

• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• LOCI: A Locator-Critic with Refinement Loop [65.51043732421378]
  VLM(Vision-Language Models)は、複雑な視覚的理解を必要とするタスクに苦戦している。 中心的な問題は、高レベルの推論ではなく、画像に重要な詳細を見つけることに失敗している、と我々は主張する。 証拠検証から視覚検索を分離する学習自由フレームワークであるLocator-Critic(LOCI)を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:26:00Z)
• Same Evidence, Different Target: Decoding How Diagnostic Evidence Bears on Causal Questions from Language-Model States [7.032871370232397]
  因果的目標を変更しながら,同一の診断的証拠を口頭で繰り返し示すペアプロンプトを導入する。 それぞれのプロンプトは、証拠が因果問題にどのように耐えられるかに応じて、Favors、Challenges、Unresolved、Wrong Targetと呼ばれる。 我々はQwen2.5-7B-インストラクタの直交変圧器ブロックから最終トーケン隠れ状態を分析する。
  論文  参考訳（メタデータ） (2026-07-29T13:56:37Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability [16.27940179594792]
  AdversaBenchは、5つの構造化演算子でシードプロンプトをミュートするエンドツーエンドの赤チームパイプラインである。 本報告では, 推論, 指示追従, ツール利用の3つのカテゴリにまたがる45種の種子について実験を行った。
  論文  参考訳（メタデータ） (2026-06-23T13:50:51Z)
• Question-Aware Evidence Ledgers for Video Relational Reasoning [49.15616982043187]
  我々は,強力なGPT-5.5ビデオQA解決器と疑似エビデンス台帳のセットを中心に構築されたテスト時間推論パイプラインを提案する。 パイプラインは92.95%の総合精度と93.79%のマクロ精度を達成した。
  論文  参考訳（メタデータ） (2026-06-01T17:18:03Z)
• SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
  本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。 共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。 制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
  論文  参考訳（メタデータ） (2026-05-05T09:05:40Z)
• VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
  VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。 これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。 GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。 その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
  論文  参考訳（メタデータ） (2026-04-02T03:29:43Z)
• Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
  大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。 適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。 モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:21:12Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。