論文の概要: Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs

• arxiv url: http://arxiv.org/abs/2606.03879v1
• Date: Tue, 02 Jun 2026 16:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.176127
• Title: Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs
• Title（参考訳）: エンコーダ累積を超える:マルチエンコーダVLMにおけるエンコーダの役割の測定
• Authors: Wei Ding, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang,
• Abstract要約: 我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。 各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。 エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
• 参考スコア（独自算出の注目度）: 50.3757247538081
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As foundation models scale toward fusing more heterogeneous visual streams, understanding how diverse encoders interact under joint training becomes a prerequisite for principled design. Yet large vision-language models (LVLMs) currently lack the tools to do so, and parameter-efficient encoder configurations remain hard to identify before training. To re-examine encoder roles under joint training, on the 16-benchmark Cambrian-1 suite we retrain and evaluate all 31 non-empty subsets of five common vision encoders under a unified pipeline (~20k GPU-hours total), and report three findings. First, retraining each subset from scratch reveals encoder rankings that differ from those obtained by masking encoders on a fixed checkpoint, including which encoder ranks first overall. Second, we decompose each encoder's contribution into two axes, Capacity, the score an encoder reaches on its own, and Necessity, the drop when it is removed from the full pool. The two axes are not interchangeable. Pairing the two highest-Capacity encoders is suboptimal, while pairing a high-Capacity anchor with an adaptive complement matches the full five-encoder model. Adding further encoders beyond this pair yields only marginal gains. Third, at fixed parameter count, per-encoder pre-projector effective rank explains the residual score variation. The strongest pairs combine an anchor whose rank survives joint training with a complement whose rank expands under it, suggesting that higher-rank, less-collapsed projector inputs correspond to a more favorable optimization regime at the encoder-projector interface. Together, the Capacity-Necessity decomposition and the pre-projector rank analysis, along with comprehensive evaluation through retraining, expose a methodological gap in multi-encoder LVLM design, and offer concrete primitives for closing it.
• Abstract（参考訳）: 基礎モデルがより異質なビジュアルストリームの融合に向かってスケールするにつれ、多種多様なエンコーダが共同トレーニングの下でどのように相互作用するかを理解することが、原則設計の前提条件となる。 しかし、大きな視覚言語モデル(LVLM)は、現在それを行うためのツールが欠けており、パラメータ効率のよいエンコーダ構成は、トレーニング前に識別することが難しいままである。 共同トレーニング中のエンコーダの役割を再検討するため、16ベンチマークのCambrian-1スイートでは、5つの共通ビジョンエンコーダの31の空でないサブセット(合計約20k GPU-hours)を再評価し、3つの知見を報告する。 まず、スクラッチから各サブセットを再トレーニングすると、固定されたチェックポイント上でエンコーダをマスキングすることによって得られるものと異なるエンコーダランキングが明らかになる。 次に,各エンコーダのコントリビューションを,各エンコーダのコントリビューションを2つの軸に分解する。 2つの軸は交換できない。 2つの最高容量エンコーダをペアリングすることは最適以下であり、高容量アンカーと適応補完器をペアリングすることは完全な5エンコーダモデルと一致する。 このペア以上のエンコーダを追加すると、限界利得しか得られない。 第三に、固定パラメータ数では、エンコーダごとのプロジェクタ有効ランクが残差スコアの変動を説明する。 最強のペアは、階級が合同訓練を継続するアンカーと、その下にランクが拡大する補体を組み合わせることで、よりランクが高く、崩壊の少ないプロジェクター入力がエンコーダ-プロジェクターインタフェースにおけるより好ましい最適化規則に対応することを示唆している。 キャパシティ・必要分解とプレプロジェクタのランク解析は、リトレーニングによる包括的評価とともに、マルチエンコーダLVLM設計における方法論的ギャップを明らかにし、それを閉じるための具体的なプリミティブを提供する。

関連論文リスト

• Scope: Selective Cross-modal Orchestration of Visual Perception Experts [51.29218658993354]
  SCOPEはMixture-of-Encodersフレームワークで、インスタンスレベルのルーティングを通じて画像テキストペアごとに1つの特別なエンコーダを動的に選択する。 軽量ルータは、テキストプロンプトと共有視覚特徴間の相互アテンションを使用して、ルーティングされたエンコーダから最適なエンコーダを選択する。 注目すべきは、共有された1つプラス1つのルーティングエンコーダを持つSCOPEは、4つの余分なエンコーダを同時に使用し、計算量を24-49%削減する。
  論文  参考訳（メタデータ） (2025-10-14T20:33:01Z)
• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders [54.03921875874111]
  選択したエンコーダがマスクされた場合, 性能は良好に低下し, 広範にエンコーダの冗長性が明らかとなった。 我々は、OCRやChartのようなタスクにおいて、単一のエンコーダが90%以上のCURで支配できる強力な特殊化を観察する。 特定のエンコーダを使用すると、特定のタスクカテゴリにおいて最大16%の精度が得られ、全体のパフォーマンスがフルモデルよりも3.6%向上する。
  論文  参考訳（メタデータ） (2025-07-04T02:38:59Z)
• Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction [0.7237068561453082]
  コントラスト付き事前学習をサポートする効率的なエンコーダ-デコーダ自己教師型学習(SSL)フレームワークであるDeConを提案する。 厳密な予測タスクに確立された対照的なSSLフレームワークを適用することで、DeConは新たな最先端の結果を達成する。 実験の結果,共同事前学習はエンコーダの表現力を向上し,高密度予測タスクの性能向上を図っている。
  論文  参考訳（メタデータ） (2025-03-21T20:19:13Z)
• DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models [22.276574156358084]
  我々は,各デコーダ層が妥当な予測を生成できるように,深層監視で訓練されたマルチエキシット・エンコーダ・デコーダ・トランスフォーマモデルを構築した。 提案手法は,ベースラインに比べて精度が向上し,全体の推論遅延を30%から60%削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-15T01:01:02Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• MUSTER: A Multi-scale Transformer-based Decoder for Semantic Segmentation [19.83103856355554]
  MUSTERはトランスフォーマーベースのデコーダで、階層エンコーダとシームレスに統合される。 MSKAユニットはエンコーダとデコーダからのマルチスケール機能の融合を可能にし、包括的な情報統合を容易にする。 ADE20Kデータセットでは,50.23の単一スケールmIoUと51.88のマルチスケールmIoUを達成する。
  論文  参考訳（メタデータ） (2022-11-25T06:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。