論文の概要: How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining

• arxiv url: http://arxiv.org/abs/2609.35457v1
• Date: Mon, 28 Sep 2026 15:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:15:42.169554
• Title: How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining
• Title（参考訳）: ビジュアルエンコーダの取り外しはどこまで可能か?エンコーダフリーマルチモーダル事前学習のスケーリング法則
• Abstract要約: エンコーダフリーおよびエンコーダベースマルチモーダル大言語モデルのスケーリング法則を比較する。 視覚エンコーダの除去は,マルチモーダル目的の計算最適割当を大規模モデルにシフトさせる。 ビジュアルエンコーダがなければ、言語モデルは視覚固有の適応を通じてその役割を引き継ぐことを学ぶ。
• 参考スコア（独自算出の注目度）: 27.571519364442704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most modern multimodal large language models (MLLMs) build on a pretrained visual encoder that provides a strong visual prior. Encoder-free MLLMs instead learn visual representations directly from raw pixels, offering a simple and unified architecture, but their scaling behavior has not been systematically characterized. To fill this gap, we compare scaling laws for encoder-free and encoder-based MLLMs and report three main findings: (1) Removing the visual encoder shifts the compute-optimal allocation for the multimodal objective toward larger models, while leaving that for text nearly unchanged. (2) The two architectures exhibit nearly overlapping loss--compute frontiers on the text objective, but diverge on the multimodal objective: encoder-free models underperform at small scales yet are predicted to catch up at around $10^{22}$ FLOPs, well within practical pretraining budgets. (3) Without a visual encoder, the language model learns to take over its role via vision-specific adaptation: bidirectional interactions among visual tokens become increasingly beneficial as training compute grows, visual processing shifts toward earlier layers, and expert routing for visual tokens becomes more concentrated. Overall, our results indicate that the advantage of the visual prior provided by a pretrained encoder diminishes with scale, positioning encoder-free architectures as a promising direction for multimodal pretraining.
• Abstract（参考訳）: ほとんどの現代のマルチモーダル大言語モデル(MLLM)は、事前訓練されたビジュアルエンコーダの上に構築され、強力な視覚的先行を提供する。 エンコーダフリーのMLLMは生のピクセルから直接視覚表現を学習し、シンプルで統一されたアーキテクチャを提供するが、そのスケーリング動作は体系的に特徴づけられていない。 このギャップを埋めるために、エンコーダフリーおよびエンコーダベースMLLMのスケーリング法則を比較し、(1)視覚的エンコーダの除去は、大規模モデルに対するマルチモーダル目的の計算最適割り当てをシフトさせ、テキストに対してほとんど変化しないままにする、という3つの主な知見を報告する。 2) 2つのアーキテクチャはテキストの目的に対してほぼ重なり合う損失のフロンティアを示すが,マルチモーダルな目的によって異なる: エンコーダフリーモデルが小さなスケールで実行されながら10〜22ドル程度のFLOPに追いつくと予測される。 3) 視覚的エンコーダがなければ,視覚的トークン間の双方向の相互作用は,トレーニング計算の増大とともに益となり,視覚的処理が以前の階層にシフトし,視覚的トークンに対する専門家のルーティングがより集中化する。 以上の結果から,事前学習したエンコーダによる視覚的事前学習の利点は,大規模化とともに減少し,マルチモーダル事前学習の有望な方向としてエンコーダフリーアーキテクチャが位置づけられることが示唆された。

関連論文リスト

• Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation [108.23557570345356]
  Tuna-2はネイティブな統一マルチモーダルモデルであり、ピクセルの埋め込みに基づいて視覚的理解と生成を行う。 実験により、Tuna-2はマルチモーダルベンチマークで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-04-27T17:59:56Z)
• SOLO: A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• Unveiling Encoder-Free Vision-Language Models [62.52803514667452]
  既存の視覚言語モデル (VLM) は主に視覚的特徴を抽出するために視覚エンコーダに依存しており、視覚言語タスクには大きな言語モデル (LLM) が続く。 エンコーダベースモデルとエンコーダフリーモデルとのギャップを橋渡しし、純粋なVLMに対するシンプルで効果的なトレーニングレシピを示す。 EVEはエンコーダなしの視覚言語モデルで、効率的にトレーニングと転送ができる。
  論文  参考訳（メタデータ） (2024-06-17T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。