Fugu-MT 論文翻訳(概要): Attending to Multimodal Generation One Token at a Time

論文の概要: Attending to Multimodal Generation One Token at a Time

arxiv url: http://arxiv.org/abs/2607.03738v1
Date: Sat, 04 Jul 2026 06:53:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.701768
Title: Attending to Multimodal Generation One Token at a Time
Title（参考訳）: マルチモーダル・ワン・トークンへの取り組み
Abstract要約: MLLM(Multimodal large language model)は、視覚情報と言語情報を進化の文脈で統合し、自動回帰的に応答を生成する。セマンティックな役割ごとの注意の変化について検討し、画像、テキスト、命令、および以前に生成されたトークン、One Tokenを時間内に追跡する。本稿では,適切なタイミングで適切なモダリティに注意を向けるための簡易なテスト時間介入を提案し,マルチモーダルタスク性能を著しく向上させる。
参考スコア（独自算出の注目度）: 25.084919740596803
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Multimodal large language models (MLLMs) generate responses autoregressively, integrating visual and linguistic information in an evolving context. Prior work on interpretability has focused on individual layers and circuits (where), leaving the token-level dynamics of multimodal computation during generation (when) underexplored. We address this gap and study attention shifts as per semantic role; tracking model attention to image, text, instruction, and previously generated tokens, One Token at a Time (OTaT). We introduce multimodal tasks that require explicit switching between visual and textual context within a single response. Across two mainstream model families and four open-weight MLLMs of varying sizes, we establish consistent patterns: attention to image peaks at tokens requiring image-derived information, instruction tokens are revisited during task transitions, and attention to previously generated tokens increases as the generation progresses. Causal attention blocking interventions validate the functional role of these trends. We profile model behavior under disrupted attention and observe responses falling back to language priors, or exhibiting cross-modal leakage, denial, or recovery. Finally, informed of the attention dynamics through our novel analysis, we propose a simple test-time intervention to boost attention to the relevant modality at the right time, significantly improving multimodal task performance.
Abstract（参考訳）: MLLM(Multimodal large language model)は、視覚情報と言語情報を進化の文脈で統合し、自動回帰的に応答を生成する。解釈可能性に関する以前の研究は、個々の層や回路(場所)に焦点を当てており、生成時(探索時)にマルチモーダル計算のトークンレベルのダイナミクスが過小評価されている。我々はこのギャップに対処し、セマンティック・ロールごとのアテンションシフトを研究する。画像、テキスト、命令、および以前に生成されたトークンであるOne Token at a Time (OTaT)へのモデルアテンションを追跡する。一つの応答内で視覚的コンテキストとテキスト的コンテキストを明示的に切り替えるマルチモーダルタスクを導入する。 2つのメインストリームモデルファミリと4つのオープンウェイトMLLMにまたがって、画像から得られる情報を必要とするトークンにおける画像ピークへの注意、タスク遷移中に命令トークンを再考、生成が進むにつれて以前に生成されたトークンへの注意、という一貫したパターンを確立する。因果的注意を妨げる介入は、これらの傾向の機能的役割を検証する。我々は,混乱した注意の下でのモデル行動を分析し,言語先行の応答を観察し,また,クロスモーダルな漏洩,否定,回復を示す。最後に,本研究の新たな分析から注目のダイナミクスを把握し,適切なタイミングで適切なモダリティに注意を向け,マルチモーダルタスク性能を著しく向上させる簡易なテスト時間介入を提案する。

関連論文リスト

Multimodal Large Language Models for Multi-Subject In-Context Image Generation [56.20395856287325]
音楽は、textbfMUlti-textbfSubject textbfIn-textbfContextイメージ生成用に特別に設計された最初のMLLMである。我々は,視覚連鎖機構による多目的意味関係の理解を深める。訓練中に複雑な被写体画像を取り込むことで,連鎖推論におけるモデルの能力を向上させる。
論文参考訳（メタデータ） (2026-04-08T15:37:42Z)
Kelix Technical Report [86.64551727600104]
我々は、完全離散自己回帰統一モデルであるKelixを紹介し、離散的および連続的な視覚表現間の理解ギャップを埋める。最近の研究は、完全自己回帰型マルチモーダルモデリングを可能にするために、離散的な視覚的トークン化を探求している。
論文参考訳（メタデータ） (2026-02-10T14:48:26Z)
Towards Understanding Multimodal Fine-Tuning: Spatial Features [25.349396112139214]
Vision-Language Models (VLM) は、事前訓練された言語モデルとビジョンエンコーダをペアリングすることで、幅広いタスクにおいて強力なパフォーマンスを達成する。本稿では,ステージワイドモデル差分法によるVLM適応の最初の力学解析について述べる。
論文参考訳（メタデータ） (2026-02-06T18:48:18Z)
ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文参考訳（メタデータ） (2025-10-20T06:18:47Z)
Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文参考訳（メタデータ） (2025-09-26T14:39:13Z)
Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs [7.03771340666549]
MLLM(Multimodal Large Language Models)における視覚言語ミスアライメントは重要な課題である。本稿では,MMA(Modality-mutual attention)に因果的注意を開放し,画像トークンがテキストトークンに参加することを可能にする新しいMLLMであるMapleLeaf AKIを提案する。我々のMMA設計は汎用的であり、様々なモダリティにまたがるアプリケーションを可能にし、多様なマルチモーダルシナリオに対応できるようにスケーラブルである。
論文参考訳（メタデータ） (2025-03-04T13:18:33Z)
Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文参考訳（メタデータ） (2025-02-18T12:00:47Z)
mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
論文参考訳（メタデータ） (2022-05-24T11:52:06Z)
Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
論文参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。