論文の概要: Attention-Guided Saliency Maps for Interpreting Visualization Literacy in VLMs

• arxiv url: http://arxiv.org/abs/2607.16105v1
• Date: Fri, 17 Jul 2026 16:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.901923
• Title: Attention-Guided Saliency Maps for Interpreting Visualization Literacy in VLMs
• Title（参考訳）: VLMにおけるビジュアライゼーションリテラシーの解釈のためのアテンションガイド型サリエンシマップ
• Abstract要約: 本稿では,変換器モデルを用いた画像上のテキスト生成に適した診断精度マップ手法を提案する。 我々のアプローチは、すべてのヘッドとレイヤにわたる視覚トークンに対する言語モデルの注意を集約し、この注意をビジョンエンコーダのパッチグリッドにマッピングして、イメージ上にローカライズします。
• 参考スコア（独自算出の注目度）: 4.507919939159203
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding how vision-language models (VLMs) interpret data visualizations remains an open problem, and is increasingly important as these models are used for analytical tasks where reliable reasoning is essential. We introduce a lightweight, diagnostic saliency map method tailored for text generation over images using transformer models, the current state-of-the-art models in visualization interpretation. Our approach aggregates the language model's attention over the visual tokens across all heads and layers, then maps this attention back onto the vision encoder's patch grid to localise it over the image, producing a direct correspondence between each generated answer token and the image regions it attended to. This yields fast, gradient-free saliency maps that expose how VLMs allocate focus across visual elements during answer generation, enabling inspection of whether model attention aligns with semantically relevant components. We evaluate our approach using a deletion metric which validates the causal faithfulness of our saliency maps to the model's behavior.
• Abstract（参考訳）: 視覚言語モデル(VLM)がデータ視覚化をどのように解釈するかを理解することは依然としてオープンな問題であり、信頼性の高い推論が不可欠である解析的なタスクにこれらのモデルが使用されることがますます重要になっている。 本稿では,トランスフォーマモデルを用いた画像上でのテキスト生成に適した軽量な診断精度マップ手法を提案する。 我々のアプローチは、すべての頭や層にわたる視覚的トークンに対する言語モデルの注意を集約し、この注意を視覚エンコーダのパッチグリッドにマッピングして画像上にローカライズし、生成した各応答トークンと、それに付随する画像領域とを直接対応させる。 これにより、VLMが回答生成中に視覚的要素にどのように焦点を割り当てるかを明らかにする、高速で勾配のない唾液マップが得られ、モデル注意が意味的に関係のあるコンポーネントと一致しているかどうかを検査することができる。 本手法は, モデル行動に対するサリエンシマップの因果忠実度を検証した削除基準を用いて評価する。

関連論文リスト

• Leveraging Text-to-Image Diffusion Models for Unsupervised Visual Object Tracking [53.08526613328243]
  教師なしの視覚的オブジェクト追跡は、地味なアノテーションをトレーニングすることなく、任意のターゲットをビデオで追従する必要がある難しいタスクである。 我々はテキストから画像への拡散モデルを構築し、事前訓練されたモデルに符号化されたリッチな意味知識を活用する。 我々の方法Diff-Trackingは、初期プロンプト学習者とオンラインプロンプト更新者という2つの主要コンポーネントから構成されている。
  論文  参考訳（メタデータ） (2026-05-26T12:26:56Z)
• Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
  VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。 本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。 本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:36:48Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
  RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。 実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
  論文  参考訳（メタデータ） (2025-03-29T15:50:08Z)
• What's in the Image? A Deep-Dive into the Vision of Vision Language Models [20.669971132114195]
  VLM(Vision-Language Models)は、最近、複雑な視覚コンテンツを解釈する際、顕著な能力を示した。 本稿では,各層にまたがるアテンションモジュールに着目し,徹底的な経験分析を行う。 これらのモデルが視覚データをどのように処理するかについて、いくつかの重要な洞察を明らかにします。
  論文  参考訳（メタデータ） (2024-11-26T14:59:06Z)
• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• VISTA: A Visual and Textual Attention Dataset for Interpreting Multimodal Models [2.0718016474717196]
  統合ビジョンと言語モデル(VLM)は、機械学習研究コミュニティ内のブラックボックスと見なされることが多い。 本稿では、画像領域と対応するテキストセグメント間の特定の関連をマッピングする画像テキスト整列人間の視覚的注意データセットを提案する。 次に、VLモデルによって生成された内部のヒートマップとこのデータセットを比較し、モデルの決定プロセスを分析し、よりよく理解できるようにします。
  論文  参考訳（メタデータ） (2024-10-06T20:11:53Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。