論文の概要: Tracing the Evidence: Faithful Token Attribution Through Vision-Language Reasoning

• arxiv url: http://arxiv.org/abs/2609.37656v1
• Date: Tue, 29 Sep 2026 14:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.6129
• Title: Tracing the Evidence: Faithful Token Attribution Through Vision-Language Reasoning
• Title（参考訳）: 証拠の追跡:ビジョンランゲージ推論による忠実な帰属
• Abstract要約: VTraceは、中間的推論を通じて入力コントリビューションをトレースし、モダリティ間の属性スコアをカリブレートするフレームワークである。 6つの視覚的推論ベンチマークにおける7つの基準線に対する評価は、より優れた帰属忠実性を示している。
• 参考スコア（独自算出の注目度）: 35.205489139466046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (LVLMs) exhibit strong reasoning capabilities, yet the visual and textual evidence supporting the generated responses remains difficult to identify. Faithful token attribution explains an LVLM's response by assigning scores that rank image and prompt tokens by how much the model relies on them, such that removing higher-ranked tokens causes the likelihood of the generated response to drop more rapidly. However, existing token-attribution methods have been developed mainly for text-based language models, and our empirical study reveals two challenges when complex multimodal sources are involved. First, the joint image-text attribution can underrepresent visual evidence relative to text, obscuring the image regions supporting the response. Second, visual evidence may influence the generated response through multiple intermediate reasoning paths, while existing methods trace only a limited subset of these paths, causing important visual contributions to be underestimated. Motivated by these insights, we introduce VTrace, a multimodal token-attribution framework that traces input contributions through intermediate reasoning and calibrates attribution scores across modalities. VTrace constructs pairwise attributions that highlight token-specific contributions and aggregates all forward attribution paths in closed form to account for both direct and indirect contributions. Cross-modal calibration then rescales image and text attribution scores using modality contributions estimated from response-likelihood changes, enabling a unified ranking of input tokens. Evaluations against seven baselines across six visual reasoning benchmarks demonstrate the superior attribution faithfulness. Project page: https://vtrace-attribution.github.io/.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は強力な推論能力を示すが、生成した応答を裏付ける視覚的およびテキスト的証拠は同定が困難である。 Faithful token Attributionは、LVLMの応答を説明するために、スコアをランク付けしたスコアを割り当て、より高いランクのトークンを削除することによって、生成したレスポンスがより高速に低下する可能性を引き起こすように、モデルがどれだけそれらに依存しているかによってトークンをプロンプトする。 しかし,既存のトークン属性法はテキストベース言語モデルを中心に開発されており,複雑なマルチモーダルソースが関与する際の2つの課題が実証されている。 まず、共同画像テキスト属性は、テキストに対する視覚的エビデンスを低く表現し、応答を支持する画像領域を隠蔽する。 第二に、視覚的エビデンスは複数の中間的推論経路を通して生成された応答に影響を与える可能性があるが、既存の手法はこれらの経路の限られた部分だけを辿り、重要な視覚的寄与を過小評価する。 これらの知見に触発されたVTraceは、中間的推論を通じて入力コントリビューションをトレースするマルチモーダルトークン属性フレームワークである。 VTraceはトークン固有のコントリビューションを強調したペアワイズ属性を構築し、すべてのフォワード属性パスをクローズド形式で集約し、直接的および間接的なコントリビューションの両方を説明する。 クロスモーダルキャリブレーションは、応答類似度の変化から推定されるモダリティコントリビューションを用いて、画像とテキストの属性スコアを再スケールし、入力トークンの統一的なランキングを可能にする。 6つの視覚的推論ベンチマークにおける7つの基準線に対する評価は、より優れた帰属忠実性を示している。 プロジェクトページ: https://vtrace-attribution.github.io/

関連論文リスト

• Layers, Sinks, and Scaling: Adaptive Evidence Selection for Multimodal Large Language Models [17.809800994999225]
  マルチモーダル大言語モデル(MLLM)は、画像からの視覚的証拠と外部ソースから取得した事実を組み合わせることで、知識集約的な視覚的疑問に答えることができる。 MLLMは、両方のモダリティにおいて関連する証拠を見落とし、正しい回答に必要な文章や視覚領域に弱い参加をすることができる。 近年の取り組みでは、検索したテキストをハイライトし、生成前の視覚領域をマークすることでこの問題に対処しているが、固定されたワンショットポリシーを適用している。 本稿では,アダプティブアロケーション(Adaptive Relevance-Guided Evidence Allocation, AREA)について述べる。
  論文  参考訳（メタデータ） (2026-09-15T08:02:52Z)
• Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
  Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。 我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。 VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
  論文  参考訳（メタデータ） (2026-02-27T06:23:56Z)
• Focus-Scan-Refine: From Human Visual Perception to Efficient Visual Token Pruning [78.75062483648243]
  視覚言語モデル(VLM)は、しばしば大量の視覚トークンを生成し、推論遅延とメモリフットプリントを大幅に増加させる。 視覚的質問に対して人間がどのように答えるかを模倣する,人間にインスパイアされたプラグアンドプレイプルーニングフレームワークであるFSRを提案する。 FSRは、既存の最先端プルーニング法よりも精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-02-05T16:02:48Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
  本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。 GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
  論文  参考訳（メタデータ） (2025-09-03T08:13:52Z)
• Multimodal Fact Checking with Unified Visual, Textual, and Contextual Representations [2.139909491081949]
  我々は"MultiCheck"と呼ばれる微細なマルチモーダル事実検証のための統一的なフレームワークを提案する。 我々のアーキテクチャは、テキストと画像のための専用エンコーダと、要素間相互作用を用いた相互関係をキャプチャする融合モジュールを組み合わせる。 我々はFactify 2データセットに対する我々のアプローチを評価し、F1の重み付けスコア0.84を達成し、ベースラインを大幅に上回った。
  論文  参考訳（メタデータ） (2025-08-07T07:36:53Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。