論文の概要: EDCT-Bench: Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing

• arxiv url: http://arxiv.org/abs/2609.17953v1
• Date: Wed, 16 Sep 2026 00:25:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.578996
• Title: EDCT-Bench: Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing
• Title（参考訳）: EDCT-Bench: 説明駆動のカウンターファクトテストによるVLMの忠実度ギャップの発見
• Abstract要約: 視覚言語モデル(VLM)は、自然言語説明(NLE)を生成できるが、それらが引用する視覚的証拠と矛盾しない。 本稿では、モデルの説明に引用された視覚概念を抽出し、検証された最小限の編集を適用し、結果の回答と説明が編集された画像と一致しているかどうかをテストする介入ベースのプロトコルである説明駆動対実テスト(EDCT)を提案する。
• 参考スコア（独自算出の注目度）: 1.2964936551520734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) can produce Natural Language Explanations (NLEs) that sound plausible yet remain inconsistent with the visual evidence they cite. We present Explanation-Driven Counterfactual Testing (EDCT), an intervention-based protocol that extracts visual concepts cited in a model's explanation, applies verified minimal edits to them, and tests whether the resulting answer and explanation remain consistent with the edited image. Using this protocol, we create EDCT-Bench, a comprehensive benchmark spanning three complementary domains: knowledge-intensive visual question answering (OK-VQA), safety-critical driving (DriveLM), and 3D spatial reasoning (3DSRBench). Across the evaluated VLMs, EDCT reveals substantial faithfulness gaps, with models frequently producing responses inconsistent with verified visual changes. Finally, our fine-tuning study suggests that EDCT-generated counterfactuals provide high-impact training signals.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、自然言語説明(NLE)を生成できるが、それらが引用する視覚的証拠と矛盾しない。 本稿では、モデルの説明に引用された視覚概念を抽出し、検証された最小限の編集を適用し、結果の回答と説明が編集された画像と一致しているかどうかをテストする介入ベースのプロトコルである説明駆動対実テスト(EDCT)を提案する。 このプロトコルを用いて、知識集約型視覚質問応答(OK-VQA)、安全クリティカル駆動(DriveLM)、3次元空間推論(DSRBench)という3つの補完領域にまたがる総合的なベンチマークであるEDCT-Benchを作成する。 評価されたVLM全体にわたって、EDCTは相当な忠実さのギャップを明らかにし、モデルが検証された視覚的変化と矛盾する応答を頻繁に生成する。 最後に,EDCTが生成する偽物は,高インパクトなトレーニング信号をもたらすことを示唆した。

関連論文リスト

• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought [16.361394107862502]
  画像内の実際の視覚的証拠に、各推論ステップを明示的にリンクするVisual Grounding Chain-of-Thoughtデータセットを提案する。 パイプラインは、GPT-4oでステップバイステップのグラウンドド推論を生成し、合理的に駆動されるオープンセット検出プロセスを通じてグラウンドディングを洗練する。 LLaVA-1.5やQwen2-VLを含む代表的なLVLMによる実験は、ほとんどの評価指標に対して一貫した改善を示した。
  論文  参考訳（メタデータ） (2026-04-23T08:04:07Z)
• Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
  Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。 我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。 VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
  論文  参考訳（メタデータ） (2026-02-27T06:23:56Z)
• Unlocking Vision-Language Models for Video Anomaly Detection via Fine-Grained Prompting [17.850029260662648]
  本稿では,ビデオ異常検出のための構造化プロンプトフレームワークであるASK-Hintを提案する。 提案手法は, セマンティック・コヒーレントなグループにプロンプトを整理し, きめ細かい案内質問を定式化する。 UCF-CrimeとXD-Violenceの実験では、ASK-Hintは以前のベースラインよりも一貫してAUCを改善している。
  論文  参考訳（メタデータ） (2025-10-02T16:06:31Z)
• Explanation-Driven Counterfactual Testing for Faithfulness in Vision-Language Model Explanations [0.8657627742603715]
  視覚言語モデル(VLM)はしばしば、説得力があるが予測を導く因果的要因を反映しない、流動的な自然言語説明(NLE)を生成する。 この妥当性と忠実性のミスマッチは、技術的およびガバナンスのリスクを引き起こす。 本稿では,対象VLMの完全自動検証手法であるExplaination-Driven Counterfactual Testing (EDCT)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T15:16:23Z)
• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)
• Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs [37.754787051387034]
  本稿では,ブレークポイントモデリングと呼ばれる表現学習フレームワークを提案する。 私たちのアプローチは、中間表現を構築するために、効率的でエンドツーエンドの方法でモデルをトレーニングします。 我々は,従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を示す。
  論文  参考訳（メタデータ） (2022-11-15T07:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。