論文の概要: Mixture of Layers: Dynamic Layer Routing for Visual Reasoning

• arxiv url: http://arxiv.org/abs/2610.09440v1
• Date: Wed, 07 Oct 2026 04:50:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.719069
• Title: Mixture of Layers: Dynamic Layer Routing for Visual Reasoning
• Title（参考訳）: レイヤーの混合:ビジュアル推論のための動的レイヤルーティング
• Abstract要約: Mixture of Layers (MoL) は、視覚パッチレベルでの命令条件付きレイヤルーティング手法である。 MoLは中間視覚エンコーダ層からクエリ関連潜在表現を集約する。 7つのきめ細かい視覚的推論タスクに対する実験は、大幅なパフォーマンス向上を示している。
• 参考スコア（独自算出の注目度）: 60.01800406551151
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained vision encoders contain layer-wise visual representations that differ in spatial granularity, semantic abstraction, and sensitivity to local details. However, most Multimodal Large Language Models (MLLMs) rely on only the final or penultimate vision encoder representations or fixed aggregation rules, making visual abstraction largely query-agnostic and limiting access to fine-grained cues such as small objects, spatial details, text, and subtle visual attributes. In this work, we propose Mixture of Layers (MoL), an instruction-conditioned layer routing approach at the visual patch level that dynamically aggregates query-relevant latent representations from intermediate vision encoder layers. Given a text query, MoL predicts routing probabilities over vision encoder layers and performs a top-k sparse aggregation over selected hidden states at either the image level, patch level, or through a hybrid routing mechanism. In doing so, MoL enables query-adaptive access to layer-specific visual features for fine-grained visual reasoning. Our experiments across 7 fine-grained visual reasoning tasks demonstrate substantial performance improvements, especially across fine-grained visual grounding and understanding tasks such as +18.9% improvement on V* in overall accuracy, +4.5% on HRBench4K, and +16.3% on CharXiv compared to the baseline MLLMs, without resorting to multi-resolution inputs, simple interleaving of multiple vision encoders, or increasing the number of patch tokens. We study vision encoders' receptive field scales across different layers and their sampling behaviors to provide an in-depth analysis of why layer-wise sampling is helpful, demonstrating that conditional visual representations are a key step towards better visual perception and reasoning in MLLMs. Our project page is available at https://wjdghks950.github.io/mol.github.io/.
• Abstract（参考訳）: 事前学習された視覚エンコーダは、空間的粒度、セマンティックな抽象化、局所的な詳細に対する感度が異なるレイヤワイドな視覚表現を含む。 しかし、ほとんどのMLLM(Multimodal Large Language Models)は最終的な視覚エンコーダ表現や固定集約ルールのみに依存しており、視覚的抽象化はクエリに依存しず、小さなオブジェクト、空間的詳細、テキスト、微妙な視覚的属性などの細かいキューへのアクセスを制限している。 本研究では,中間視覚エンコーダ層からクエリ関連潜在表現を動的に集約する,視覚パッチレベルでの命令条件付きレイヤルーティング手法であるMixture of Layers (MoL)を提案する。 テキストクエリが与えられたら、MoLはビジョンエンコーダ層上のルーティング確率を予測し、選択された隠れ状態に対して、イメージレベル、パッチレベル、またはハイブリッドルーティングメカニズムを介してトップkスパースアグリゲーションを実行する。 そうすることで、MoLは層固有の視覚機能へのクエリ適応的なアクセスを可能にし、きめ細かい視覚的推論を可能にします。 7つのきめ細かい視覚的推論タスクに対する実験は、特に、V*の全体的な精度が+18.9%向上、HRBench4Kの+4.5%、CharriXivの+16.3%向上、マルチ解像度入力、多重ビジョンエンコーダの単純なインターリーブ、パッチトークンの数の増加など、大幅なパフォーマンス向上を示す。 本研究では,異なる層にまたがる視覚エンコーダの受容場規模とそのサンプリング行動について検討し,レイヤワイドサンプリングがなぜ役立つのかを詳細に分析し,条件付き視覚表現がMLLMにおける視覚知覚と推論の改善への重要なステップであることを実証した。 私たちのプロジェクトページはhttps://wjdghks950.github.io/mol.github.io/で公開されています。

関連論文リスト

• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning [5.85033069870214]
  動的埋め込みと階層型視覚特徴の融合に基づく効率的な視覚言語微調整法を提案する。 少数のパラメータのみを微調整することで、DEHVFはクロスモーダル情報の正確なアライメントと補完を実現する。
  論文  参考訳（メタデータ） (2025-08-25T03:57:46Z)
• Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
  マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。 MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。 我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• MMFuser: Multimodal Multi-Layer Feature Fuser for Fine-Grained Vision-Language Understanding [39.68348330596116]
  視覚変換器(ViTs)の深部・浅部機能を効率的に統合する,シンプルで効果的な多層機能フェーザであるモデル名を提案する。 具体的には、クエリとしてセマンティックに整合した深い機能を活用して、浅い機能から欠落した詳細を動的に抽出する。 modelnameachieveは、ビジュアル表現とベンチマークのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-15T17:55:22Z)
• TokenPacker: Efficient Visual Projector for Multimodal LLM [37.1071749188282]
  ビジュアルプロジェクタは、ビジュアルエンコーダとLarge Language Model(LLM)の間に必須のブリッジとして機能する。 本稿では,密集した特徴を注入して凝縮した視覚トークンを生成するために,粗く細かなスキームを取り入れた新しいビジュアルプロジェクタを提案する。 我々のアプローチでは、ビジュアルトークンを75%89%圧縮し、多様なベンチマークで同等またはさらに優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-02T16:10:55Z)
• From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
  大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。 以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。 我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
  論文  参考訳（メタデータ） (2023-10-13T02:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。