論文の概要: Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
- arxiv url: http://arxiv.org/abs/2611.06844v1
- Date: Wed, 04 Nov 2026 18:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.226631
- Title: Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
- Title(参考訳): MLLMの接続方法 : 全VT層とLDM層にまたがる動的ゲート経路によるブースティング
- Abstract要約: MLLM(Multimodal Large Language Models)の中心的な疑問は、階層型視覚エンコーダから視覚情報を接続する方法である。
本稿では,各VT層とLLM層間の全接続を確立するルーティング機構であるDGPを提案する。
- 参考スコア(独自算出の注目度): 57.26638942674683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central yet under-explored question in Multimodal Large Language Models (MLLMs) is where to connect---how visual information from a hierarchical vision encoder should be wired into the layer-wise semantics of a large language model. Mainstream MLLMs inject a fixed single-layer visual representation into the LLM and treat all LLM layers as a single consumer, ignoring that different layers demand different visual granularities. Recent multi-layer fusion methods either compress hierarchical features on the encoder side or rely on predefined sparse or hierarchical layer-to-layer connections, and therefore stop short of modeling adaptive cross-layer interactions between the ViT and LLM hierarchies. We address this gap with DGP (Dynamic Gated Pathways), a routing mechanism that establishes all-to-all connections between every ViT layer and every LLM layer, with each LLM layer dynamically gating its preference over visual layers conditioned on its own semantic state. Built on top of LLaVA-1.5-7B and 13B, DGP delivers consistent gains over the LLaVA-1.5-7B baseline (e.g., +4.2 on SQA$^{I}$, +3.3 on MM-Vet, +3.1 on VizWiz and LLaVA$^{W}$) and surpasses prior multi-layer visual fusion methods on most benchmarks. Layer-wise routing analyses further show that different LLM layers do select different visual granularities on demand, supporting both the effectiveness and interpretability of the proposed dynamic gated pathways. The code is available: https://github.com/YingyingYan1/DGP.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)では、階層型視覚エンコーダから得られる視覚情報を、大きな言語モデルの階層的セマンティクスに結び付ける必要がある。
メインストリームMLLMは固定された単一レイヤの視覚表現をLSMに注入し、すべてのLCMレイヤを単一のコンシューマとして扱い、異なるレイヤが異なる視覚的粒度を要求することを無視する。
近年の多層融合法では, エンコーダ側の階層的特徴を圧縮するか, 予め定義されたスパース層や階層層間接続に依存しているため, ViT と LLM の階層間の適応的層間相互作用をモデル化することができない。
このギャップに対処するDGP(Dynamic Gated Pathways)は、各 ViT 層と各 LLM 層間の全対全接続を確立するルーティング機構であり、各 LLM 層は、自身のセマンティック状態に条件付けられた視覚層よりも、その好みを動的にゲーティングする。
LLaVA-1.5-7Bと13Bの上に構築されたDGPは、LLaVA-1.5-7Bベースライン(SQA$^{I}$で+4.2、MM-Vetで+3.3、VizWizとLLaVA$^{W}$で+3.1)に対して一貫した利得を提供し、ほとんどのベンチマークで以前の多層ビジュアルフュージョンメソッドを上回っている。
さらに、レイヤワイドルーティング解析により、異なるLCM層が要求に応じて異なる視覚的粒度を選択できることが示され、提案した動的ゲート経路の有効性と解釈性の両方が支持される。
コードは、https://github.com/YingyingYan1/DGP.comで入手できる。
関連論文リスト
- Mixture of Layers: Dynamic Layer Routing for Visual Reasoning [60.01800406551151]
Mixture of Layers (MoL) は、視覚パッチレベルでの命令条件付きレイヤルーティング手法である。
MoLは中間視覚エンコーダ層からクエリ関連潜在表現を集約する。
7つのきめ細かい視覚的推論タスクに対する実験は、大幅なパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2026-10-07T04:50:48Z) - From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。
CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文 参考訳(メタデータ) (2026-01-15T18:59:10Z) - ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction [55.21514454560188]
統一マルチモーダルモデルでは、視覚の粒度モデル(VLM)と拡散モデルを組み合わせることで、視覚生成を著しく改善する。
既存の手法は、表現の差が大きいため、十分な相互作用と柔軟な実装のバランスをとるのに苦労する。
我々は,textbfParallel方式でVLMの変形層から特徴を抽出し,包括的情報インタラクションを実現するtextbfParaUniを提案する。
論文 参考訳(メタデータ) (2025-12-05T04:41:57Z) - How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding [39.342366994703376]
MLLMが階層間の視覚的およびテキスト的入力をどのように処理するかを分析するための探索フレームワークを導入する。
ステージ単位の構造は、視覚的トークン化、命令チューニングデータ、事前学習コーパスの様々なバリエーションで安定しているが、各ステージシフトごとに特定の層が割り当てられることが示される。
論文 参考訳(メタデータ) (2025-08-27T21:22:01Z) - Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning [5.85033069870214]
動的埋め込みと階層型視覚特徴の融合に基づく効率的な視覚言語微調整法を提案する。
少数のパラメータのみを微調整することで、DEHVFはクロスモーダル情報の正確なアライメントと補完を実現する。
論文 参考訳(メタデータ) (2025-08-25T03:57:46Z) - LISA: A Layer-wise Integration and Suppression Approach for Hallucination Mitigation in Multimodal Large Language Models [8.122679857175315]
MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいて優れているが、オブジェクト幻覚の傾向が強い。
階層的変調と多層融合による生成一貫性を向上させるtextbfLISA を提案する。
実験によると、LISAは$mathrmCHAIR_I$で最大53.6%の幻覚を減少させ、POPE F1を4.5%改善する。
論文 参考訳(メタデータ) (2025-07-25T09:48:23Z) - Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。
MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。
我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
論文 参考訳(メタデータ) (2025-04-30T09:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。