論文の概要: Understanding Unified VLMs: From Attention Probing to Guidance Tuning for Multimodal Generation

• arxiv url: http://arxiv.org/abs/2610.15227v1
• Date: Sat, 10 Oct 2026 23:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.177016
• Title: Understanding Unified VLMs: From Attention Probing to Guidance Tuning for Multimodal Generation
• Title（参考訳）: 統一VLMを理解する:マルチモーダル生成のための注意探索からガイダンスチューニングへ
• Abstract要約: 統一視覚言語モデル(VLM)は、テキスト・トゥ・イメージ(T2I)と画像・トゥ・テキスト(I2T)の両方を生成する。 条件付き指導の観点から,本問題を考察する。
• 参考スコア（独自算出の注目度）: 52.768661758515094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified vision-language models (VLMs) perform both text-to-image (T2I) and image-to-text (I2T) generation with one shared Transformer backbone, yet how the backbone processes the condition in either direction remains poorly understood. We study this question from the perspective of conditional guidance: we probe every attention head to show the activation difference between two branches of classifier-free guidance (CFG) with different conditional guidance. On two unified VLMs of autoregressive and masked-diffusion paradigms, the probing reveals a subset of heads that are more sensitive to the change of condition while others are agnostic to it. This characteristic pattern holds in both T2I and I2T generation and is largely stable across data samples, demonstrating the internal mechanism of unified VLMs. Motivated by this, we propose a new inference-time intervention approach for unified multimodal generation, named \textit{HeadTuned-CFG}, which uses the probed condition-change awareness to select and tune the conditional guidance at the attention-head level. Experiments show consistent benefits in both multimodal generation directions of unified VLMs without additional training, and in particular substantial improvements over strong baselines in T2I generation. These results further support the key finding of our probing analysis: the observed pattern of functional specialization is an intrinsic property of unified VLMs.
• Abstract（参考訳）: 統一視覚言語モデル(VLM)は、1つの共有トランスフォーマーバックボーンでテキスト・トゥ・イメージ(T2I)と画像・トゥ・テキスト(I2T)の両方を生成する。 我々は,各注意点を探索し,異なる条件付きガイダンスを用いた2つの分類器フリーガイダンス(CFG)の活性化差を示す。 自己回帰的およびマスク拡散的パラダイムの2つの統一されたVLMにおいて、探索は条件の変化に対してより敏感な頭部のサブセットを明らかにし、他のものはそれに依存しない。 この特徴パターンは、T2IとI2Tの生成の両方に存在し、データサンプル間でほぼ安定であり、統一VLMの内部メカニズムを実証している。 そこで本研究では,探索された条件変化認識を用いて,アテンションヘッドレベルでの条件ガイダンスの選択と調整を行う,統合マルチモーダル生成のための新しい推論時間介入手法を提案する。 実験により、付加的なトレーニングを伴わない統一VLMのマルチモーダル生成方向と、特にT2I生成における強力なベースラインよりも大幅に改善された両方向において、一貫した利点が示された。 これらの結果は、我々の探索分析の鍵となる発見をさらに支えている: 機能的特殊化の観察パターンは、統合されたVLMの本質的な性質である。

関連論文リスト

• VLA-Trace: Diagnosing Vision-Language-Action Models through Representation and Behavior Tracing [12.088525050678713]
  VLA(Vision-Language-Action)モデルは、マルチモーダル知識を具体化制御に変換する。 本稿では,VLAモデルを統一的なエビデンスチェーンを通じて解析する,進歩的診断フレームワークであるVLA-Traceを紹介する。
  論文  参考訳（メタデータ） (2026-05-28T15:50:56Z)
• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• Enhancing Foundation VLM Robustness to Missing Modality: Scalable Diffusion for Bi-directional Feature Restoration [40.720288165545476]
  本研究では,機能不足を効果的に回復するために,拡張拡散モデルをプラグ可能な中段階トレーニングモジュールとして導入する。 I)動的モダリティゲーティング(動的モダリティゲーティング)は、条件付き特徴を適応的に活用し、セマンティック一貫性のある特徴の生成を制御し、(II)双方向アライメントを実現するためにデュアルエンコーダのセマンティック空間をブリッジするクロスモーダル相互学習機構である。
  論文  参考訳（メタデータ） (2026-02-03T06:06:35Z)
• Focal Guidance: Unlocking Controllability from Semantic-Weak Layers in Video Diffusion Models [41.59364061354628]
  Image-to-Video(I2V)生成は、参照画像とテキストプロンプトからビデオを合成することを目的としている。 既存のI2Vモデルは視覚的一貫性を優先する。 この2つのガイダンスを効果的に組み合わせて、テキストプロンプトへの強い固執を確実にする方法は、まだ検討されていない。
  論文  参考訳（メタデータ） (2026-01-12T07:48:26Z)
• Knowledge Transfer from Interaction Learning [16.83991179271622]
  現在の視覚基礎モデル(VFM)は、視覚言語モデル(VLM)から知識を伝達する際の基本的な制限に直面している。 視覚的理解をインタラクティブなプロセスとして明示的にモデル化する,認知に触発されたフレームワークであるLearning from Interactions (LFI)を提案する。
  論文  参考訳（メタデータ） (2025-09-23T07:27:36Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
  textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
  論文  参考訳（メタデータ） (2025-06-09T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。