Fugu-MT 論文翻訳(概要): Understanding How MLLMs Describe Artworks Using Token Activation Maps

論文の概要: Understanding How MLLMs Describe Artworks Using Token Activation Maps

arxiv url: http://arxiv.org/abs/2606.27947v1
Date: Fri, 26 Jun 2026 10:42:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-29 18:24:25.468627
Title: Understanding How MLLMs Describe Artworks Using Token Activation Maps
Title（参考訳）: Token Activation Mapsを用いたMLLMのアートワーク記述方法の理解
Abstract要約: マルチモーダル大言語モデルでは、顕著な流布のあるアートワークを記述しているが、そのアウトプットの背後にある視覚的理由はまだ不透明である。本研究では,各トークンに対して,そのトークンに特有の視覚的証拠を事前コンテキスト干渉から分離するヒートマップを生成するToken Activation Map (TAM)を用いてこれを研究する。 TAMを複数の期間とジャンルにまたがるキュレートされた絵画に適用し、共通視覚オブジェクト、スタイル記述子、メタデータ、図形トークン、感情表現の5つの意味的に異なるトークンカテゴリのグラウンドディングパターンを分析する。 MLLMがアートワークやアーティストを識別しようと試み、タイトル予測よりも高い精度でアーティストの帰属を達成していることを示す。
参考スコア（独自算出の注目度）: 10.258013191657643
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Large Language Models (MLLMs) describe artworks with remarkable fluency, yet the visual reasoning behind their outputs remains opaque. When an MLLM names a style, identifies a subject, or recognizes an iconographic symbol, does it ground each claim in the relevant region of the canvas, draw on an undifferentiated visual signal, or rely primarily on textual priors? We study this using the Token Activation Map (TAM), which produces, for each generated token, a heatmap isolating the visual evidence specific to that token from prior-context interference. Applying TAM to a curated set of paintings spanning multiple periods and genres, we analyze grounding patterns across five semantically distinct token categories: common visual objects, style descriptors, metadata, iconographic tokens, and affective expressions. We find that visual grounding varies substantially with token semantics. We further show that MLLMs attempt to identify artworks and artists, achieving higher accuracy in artist attribution than in title prediction, where hallucinations are more frequent. Finally, we compare TAM with SAM~3 open-vocabulary segmentation. To ensure reproducibility, we release our code, experimental configurations, prompts, and qualitative results on the project page at https://nicolafan.github.io/tamart/.
Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、顕著な頻度のアートワークを記述しているが、そのアウトプットの背後にある視覚的理由はまだ不透明である。 MLLMがスタイルを指定したり、主題を識別したり、図形記号を認識させたり、キャンバスの関連領域に各クレームを埋め込んだり、未分化の視覚信号に描画したり、主にテキストの先行情報に依存するか? 本研究では,各トークンに対して,そのトークンに特有の視覚的証拠を事前コンテキスト干渉から分離するヒートマップを生成するToken Activation Map (TAM)を用いてこれを研究する。 TAMを複数の期間とジャンルにまたがるキュレートされた絵画に適用し、共通視覚オブジェクト、スタイル記述子、メタデータ、図形トークン、感情表現の5つの意味的に異なるトークンカテゴリのグラウンドディングパターンを分析する。視覚的基盤はトークンのセマンティクスによって大きく異なります。さらに,MLLMが美術品や芸術家を識別しようとしており,幻覚の頻度が高いタイトル予測よりも高い精度でアーティストの帰属を達成していることを示す。最後に, TAM と SAM~3 の開語彙セグメンテーションを比較した。再現性を確保するため、私たちはプロジェクトページ https://nicolafan.github.io/tamart/ で、コード、実験的な構成、プロンプト、質的な結果をリリースします。

関連論文リスト

Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow [32.21470980856891]
VLM(Vision-Language Models)は、視覚認識、文書解析、視覚的グラウンドニングなど、幅広いタスクにおいて強力な能力を示している。最近の研究は、VLMが問題に対応する正しい画像領域をキャプチャすることが多いが、必ずしも正しい答えを生成するとは限らないことを示している。テキストトークンが無関係な視覚トークンに過度に注意を散らしすぎる場合、この誤認識はVLM内の最適情報フローに起因する可能性があることを示す。
論文参考訳（メタデータ） (2026-04-17T08:07:22Z)
LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs [40.11215282864732]
自然言語による記述に潜在表現をマッピングするための新しいアプローチであるLatentLensを紹介する。本手法を10種類の視覚言語モデル(VLM)で評価する。本研究では,LatentLensが生成した記述が意味論的に意味を持ち,人間に対してより微細な解釈を提供することを示す。
論文参考訳（メタデータ） (2026-01-31T02:33:07Z)
Sketch-in-Latents: Eliciting Unified Reasoning in MLLMs [53.57402214935238]
Sketch-in-Latentsは、統一マルチモーダル推論のための新しいパラダイムである。連続的な視覚的な埋め込みを生成し、視覚的な思考として潜在スケッチトークンと呼ばれる。視覚中心のタスクにおいて優れた性能を発揮し、多様な汎用マルチモーダルベンチマークへの強力な一般化を示す。
論文参考訳（メタデータ） (2025-12-18T14:29:41Z)
Token Activation Map to Visually Explain Multimodal LLMs [23.774995444587667]
本稿では,文脈の干渉を軽減し,高品質なMLLM記述を実現するための因果推論手法を提案する。本稿では,トークン間の相互作用を考慮に入れたToken Activation Map (TAM) と呼ぶ。我々のTAM法は既存のSoTA法を著しく上回り、高品質な可視化結果を示す。
論文参考訳（メタデータ） (2025-06-29T14:50:45Z)
Introducing Visual Perception Token into Multimodal Large Language Model [53.82301522384719]
MLLM(Multimodal Large Language Model)はその視覚エンコーダの知覚過程に依存している。 MLLMには、独自の視覚知覚プロセスを制御する自律的な能力がない。本稿では,視覚知覚のプロセスを制御する機構をMLLMに組み込むことを目的として,視覚知覚トークンの概念を提案する。
論文参考訳（メタデータ） (2025-02-24T18:56:12Z)
PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
論文参考訳（メタデータ） (2025-01-21T15:22:31Z)
Semantic Alignment for Multimodal Large Language Models [72.10272479476161]
多モード大言語モデル(SAM)のセマンティックアライメントについて紹介する。画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
論文参考訳（メタデータ） (2024-08-23T06:48:46Z)
VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。第二に、記述は視覚入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用される。
論文参考訳（メタデータ） (2024-04-10T15:09:15Z)
Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
論文参考訳（メタデータ） (2024-01-20T20:55:21Z)
Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
論文参考訳（メタデータ） (2023-03-27T00:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。