論文の概要: Where To Look? : Causal Tracing of Vision Encoders in VLM

• arxiv url: http://arxiv.org/abs/2608.10758v1
• Date: Tue, 11 Aug 2026 10:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.003707
• Title: Where To Look? : Causal Tracing of Vision Encoders in VLM
• Title（参考訳）: どこに見えるか : VLMにおける視覚エンコーダの因果的追跡
• Abstract要約: 視覚言語モデルは、驚くべき精度で画像を記述することができる。 因果的追跡を通してこの問題を考察し、高い因果的視覚トークンが標的領域の外側にしばしば存在することを観察する。 さらに,これらのモデルでは外見の手がかりが取り除かれたときの視覚構造を保存できるのか,また視覚的手がかりが視覚構造を理解するために活用されているかを見出した。
• 参考スコア（独自算出の注目度）: 0.6980863185266349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models can describe an image with remarkable accuracy, yet a more fundamental question remains unanswered: what visual information actually drives their answers? In this work, we investigate this question through causal tracing, and we observe that highly causal vision tokens often lie outside the target region. Extending the analysis to larger vision-language models reveals a similar pattern across models and corruption settings, suggesting that strong multimodal performance does not necessarily imply spatially localized causal representations. We further investigate: can these models preserve visual structure when appearance cues are removed? and find that visual cues are exploited to understand visual structures. Together, our experiments expose a gap between seeing, using, and reasoning over visual structure, and provide a causal framework for studying how visual information is transformed, preserved, and ultimately used by modern vision-language models.
• Abstract（参考訳）: 視覚言語モデルは、驚くべき精度で画像を記述することができるが、より根本的な疑問は未解決のままである。 本研究では,この問題を因果的追跡を通じて調査し,高い因果的視覚トークンが標的領域の外側にしばしば存在することを観察する。 解析をより大きな視覚言語モデルに拡張すると、モデルと汚職設定に類似したパターンが示され、強いマルチモーダル性能が必ずしも空間的局所化された因果表現を暗示するとは限らないことが示唆される。 これらのモデルは外見の手がかりが取り除かれたとき、視覚構造を保たれるか? 視覚的手がかりが視覚構造を理解するのに役立ちます また,視覚情報がどのように変換され,保存され,最終的に現代視覚言語モデルで使用されるかを研究するための因果的枠組みを提供する。

関連論文リスト

• Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models [14.5102059776721]
  MLLM(Multimodal Large Language Models)は、事前訓練された言語モデルの豊富な事前情報と視覚入力を統合することで、高い性能を達成する。 しかし、視覚的な証拠が事前訓練された知識と矛盾する場合、視覚中心のタスクでは失敗することが多い。 2つの診断パラダイムを用いてこれらの障害を探索する。(1)視覚情報が利用可能かどうかの探索、(2)画像再構成、(2)マルチモーダルコンテキスト感度の測定である。
  論文  参考訳（メタデータ） (2026-07-28T22:52:34Z)
• Attention-Guided Saliency Maps for Interpreting Visualization Literacy in VLMs [4.507919939159203]
  本稿では,変換器モデルを用いた画像上のテキスト生成に適した診断精度マップ手法を提案する。 我々のアプローチは、すべてのヘッドとレイヤにわたる視覚トークンに対する言語モデルの注意を集約し、この注意をビジョンエンコーダのパッチグリッドにマッピングして、イメージ上にローカライズします。
  論文  参考訳（メタデータ） (2026-07-17T16:40:23Z)
• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• VisualScratchpad: Inference-time Visual Concepts Analysis in Vision Language Models [81.7389759509619]
  推論中の視覚的概念分析のための対話型インタフェースであるVisualScratchpadを紹介する。 視覚エンコーダにスパースオートエンコーダを適用し,テキスト・ツー・イメージ・アテンションを介して視覚概念をテキストトークンにリンクする。 VisualScratchpadはまたトークンラテントヒートマップビューも提供しており、因果解析における効果的な概念アブレーションに十分なラテントのセットを示唆している。
  論文  参考訳（メタデータ） (2026-03-07T20:52:09Z)
• MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
  視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。 遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。 以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T18:49:06Z)
• Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
  VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。 本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。 本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:36:48Z)
• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• Object-Centric Diagnosis of Visual Reasoning [118.36750454795428]
  本稿では,地平とロバスト性に基づく視覚的推論の体系的対象中心の診断について述べる。 我々は,グラフ推論機械という診断モデルを開発した。 本モデルは、純粋に象徴的な視覚的表現を確率的シーングラフに置き換え、教師の強制訓練をビジュアル推論モジュールに適用する。
  論文  参考訳（メタデータ） (2020-12-21T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。