論文の概要: SAVER: Selective Auditing of Verbal Evidence for Error Recovery in VLM Change Reasoning

• arxiv url: http://arxiv.org/abs/2608.22857v1
• Date: Mon, 24 Aug 2026 06:40:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.907998
• Title: SAVER: Selective Auditing of Verbal Evidence for Error Recovery in VLM Change Reasoning
• Title（参考訳）: SAVER:VLM変更推論における誤り回復のための言語証拠の選択的監査
• Abstract要約: ビジョン言語モデル(VLM)は、ビジョンエンコーダが十分な情報を持っている場合でも、視覚変化の推論に失敗することが多い。 本稿では,VLM応答を言語的エビデンスに対して解析し,エビデンスが欠落している場合や矛盾している場合にのみ,構造化再プロンプトをトリガーするルールベース手法であるSAVERを提案する。 SAVERは、CLEVR-Changeで最大25.8%の精度で、モデルからエラーが発生しているタスクの精度を大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) frequently fail at visual change reasoning, even when their vision encoders contain sufficient information. We observe that correct VLM outputs tend to contain explicit verbal evidence (object names, colors, spatial locations) that supports the claimed change, while incorrect outputs often lack such evidence. We propose SAVER (Selective Auditing of Verbal Evidence for Error Recovery), a lightweight, rule-based method that parses VLM responses for this evidence and triggers structured reprompting only when evidence is missing or inconsistent. Across three change detection benchmarks and four VLMs, SAVER significantly improves accuracy on tasks where errors stem from the model failing to articulate what it saw (expression failures), with gains up to +25.8% on CLEVR-Change. The evidence patterns can also be generated by an LLM in a single call, matching the hand-tuned gate on CLEVR-Change. Ablation experiments confirm that the evidence gate, not reprompting alone, drives the improvement.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は、ビジョンエンコーダが十分な情報を持っている場合でも、視覚変化の推論に失敗することが多い。 我々は、正しいVLM出力は、要求された変化を支持する明示的な言語的証拠(名前、色、空間的位置)を含む傾向があり、不正確な出力は、しばしばそのような証拠を欠いていることを観察する。 本稿では,この証拠に対してVLM応答を解析し,証拠の欠落や矛盾がある場合にのみ構造化された再試行を誘発する軽量なルールベース手法であるSAVER(Selective Auditing of Verbal Evidence for Error Recovery)を提案する。 3つの変更検出ベンチマークと4つのVLMで、SAVERはモデルからエラーが発生しているタスクの精度を大幅に改善し、CLEVR-Changeでは+25.8%まで向上した。 このエビデンスパターンは、CLEVR-Change上の手動ゲートと一致する、単一のコールでLLMによって生成することもできる。 アブレーション実験は、エビデンスゲートが単独で増殖するのではなく、改良を推進していることを確認した。

関連論文リスト

• The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs [21.905558014939327]
  視覚言語モデル(VLM)は、依然として基本的なオブジェクトカウントに苦戦している。 内部知識の欠如や内部表現と言語出力のギャップを反映しているかどうかを考察する。 本研究では,内部誤差検出器が故障を予測した場合のみモデルを選択的に再起動する自己補正法を提案する。
  論文  参考訳（メタデータ） (2026-07-10T15:50:54Z)
• CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models [44.585250047959924]
  VLM(Vision-Language Models)はマルチモーダル推論において優れているが、その答えが視覚的証拠に根ざされているか、あるいは学習言語や世界の先駆者によって駆動されているかは定かではない。 本稿では,VLMにおけるデファクトカウントの診断フレームワークであるCounterCountを紹介する。 これらの失敗は、欠落または曖昧な視覚的証拠によるものではなく、無関係な視覚的トークンへの注意を過小評価するモデルによるものであることを示す。
  論文  参考訳（メタデータ） (2026-05-18T04:00:05Z)
• Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
  Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。 VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
  論文  参考訳（メタデータ） (2026-03-27T12:22:13Z)
• LogicGaze: Benchmarking Causal Consistency in Visual Narratives via Counterfactual Verification [41.99844472131922]
  LogicGazeは視覚入力に対して逐次因果連鎖を検証できるかどうかを精査するために設計された新しいベンチマークフレームワークである。 我々の三部評価プロトコルは、Qwen2.5-VL-72Bのような最先端のVLMの重大な脆弱性を明らかにする。 LogicGazeは堅牢で信頼性の高いマルチモーダル推論を提唱しており、すべてのリソースは匿名リポジトリで公開されている。
  論文  参考訳（メタデータ） (2026-01-30T20:28:01Z)
• ViRectify: A Challenging Benchmark for Video Reasoning Correction with Multimodal Large Language Models [23.37951284612929]
  動的知覚、科学的推論、具体化された意思決定ドメインにまたがる30K以上のインスタンスのデータセットを構築します。 ViRectifyでは、MLLMに対してステップワイドな誤り識別を行い、重要なビデオ証拠を根拠とした合理性を生成する。 また,視覚的エビデンスに基づく補正手法として,段階的誤り軌道と報酬モデルを組み合わせた軌道証拠駆動補正手法を提案する。
  論文  参考訳（メタデータ） (2025-12-01T09:05:02Z)
• Seeing but Not Believing: Probing the Disconnect Between Visual Attention and Answer Correctness in VLMs [72.8370367403852]
  VLM(Vision-Language Models)は、視覚的質問応答などのマルチモーダルなタスクにおいて強力な結果を得るが、正しい視覚的証拠が存在する場合でも失敗する。 浅層は主にテキストに焦点が当てられているのに対し、深層はわずかながら確実に局所化されたエビデンス領域に寄与していることを示す。 我々は,選択的注意に基づくマスキングによる深層エビデンス領域の強調を行う推論時間介入を導入する。
  論文  参考訳（メタデータ） (2025-10-20T17:31:09Z)
• VisRAG 2.0: Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation [64.82775032985485]
  視覚検索強化世代(VRAG)は視覚言語モデル(VLM)を外的視覚知識で拡張し、基礎推論を行い幻覚を減らす。 しかし、現在のVRAGシステムは、複数の画像に対して確実な認識と証拠の統合に失敗し、根拠の弱さと誤った結論に繋がることが多い。 EVisRAGは,エビデンス誘導型マルチイメージで推論を学習し,この問題に対処するエンド・ツー・エンドのフレームワークである。
  論文  参考訳（メタデータ） (2025-10-10T13:34:23Z)
• Explanation-Driven Counterfactual Testing for Faithfulness in Vision-Language Model Explanations [0.8657627742603715]
  視覚言語モデル(VLM)はしばしば、説得力があるが予測を導く因果的要因を反映しない、流動的な自然言語説明(NLE)を生成する。 この妥当性と忠実性のミスマッチは、技術的およびガバナンスのリスクを引き起こす。 本稿では,対象VLMの完全自動検証手法であるExplaination-Driven Counterfactual Testing (EDCT)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T15:16:23Z)
• Efficient Real-time Refinement of Language Model Text Generation [65.1937138219008]
  大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。 重要な課題は、時に事実的に誤った答えを生じさせることである。 本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:59:48Z)
• GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence [64.95492752484171]
  GenAudit - 文書基底タスクの事実チェック LLM 応答を支援するためのツール。 GenAuditは、レファレンス文書でサポートされていないクレームを修正したり削除したりすることでLCMレスポンスを編集することを提案し、また、サポートしているように見える事実の参照から証拠を提示する。 GenAuditは、さまざまなドメインから文書を要約する際に、8つの異なるLCM出力でエラーを検出することができる。
  論文  参考訳（メタデータ） (2024-02-19T21:45:55Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。