論文の概要: Unbundling Multimodal Vision Encoding
- arxiv url: http://arxiv.org/abs/2611.17334v1
- Date: Thu, 12 Nov 2026 18:59:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.604323
- Title: Unbundling Multimodal Vision Encoding
- Title(参考訳): マルチモーダルビジョン符号化
- Abstract要約: ビジョンエンコーダは、3つの設計選択をまとめる: 上流での事前訓練からの視覚的事前訓練、専用の視覚能力、そしてその能力のプリフュージョン配置である。
私たちはこれらの選択を、一般的なデータですべてのモデルをスクラッチから事前訓練する、制御されたフレームワークで切り離しています。
スクラッチからトレーニングされたエンコーダは、個別のトレーニングステージなしで、事前訓練されたエンコーダと同等である。
- 参考スコア(独自算出の注目度): 105.48562095531928
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How multimodal language models should encode visual input remains up for debate. Most models use a pretrained vision encoder, while some recent recipes train the encoder from scratch with the language model or remove it entirely. Vision encoders bundle together three design choices: a visual prior from upstream pretraining, dedicated vision capacity, and pre-fusion placement of that capacity (i.e., before the multimodal backbone). Because published models also differ in data, architecture, and compute, comparing them cannot isolate the effect of each choice. We disentangle these choices via a controlled framework where we pretrain all models from scratch on common data and compare them on visual question answering and language benchmarks at matched lifetime compute. We find that the visual prior is not necessary; an encoder trained jointly from scratch is on par with a pretrained one, without a separate training stage. What matters instead is dedicated vision capacity: an encoder-free model trails on visual understanding even when its backbone is enlarged by the encoder's parameter count. Yet that capacity need not precede multimodal fusion, as vision-only modules added in-fusion to early backbone layers perform comparably to a pre-fusion encoder and can lower time to first token. These results also hold across backbone sizes, when encoder pretraining is treated as free, and when starting from a pretrained language model. Overall, our findings favor dedicated vision capacity trained jointly with the backbone and placed early within it.
- Abstract(参考訳): 視覚入力を符号化するマルチモーダル言語モデルについてはまだ議論の余地がある。
ほとんどのモデルは事前訓練された視覚エンコーダを使用し、最近のいくつかのレシピは言語モデルでエンコーダをゼロから訓練するか、完全に除去する。
ビジョンエンコーダは3つの設計選択をまとめる: 上流での事前訓練、専用のビジョンキャパシティ、およびそのキャパシティ(つまりマルチモーダルバックボーンの前に)のプリフュージョン配置である。
公開されたモデルはデータ、アーキテクチャ、計算にも異なるため、比較してもそれぞれの選択の影響を分離することはできない。
このフレームワークでは、すべてのモデルを共通のデータでスクラッチから事前訓練し、視覚的質問応答と一致した寿命計算での言語ベンチマークで比較します。
スクラッチからトレーニングされたエンコーダは、個別のトレーニングステージなしで、事前訓練されたエンコーダと同等である。
エンコーダのないモデルでは、そのバックボーンがエンコーダのパラメータカウントによって拡大されたとしても、視覚的理解に追従する。
しかし、ビジョンのみのモジュールが初期のバックボーン層にインフュージョンを追加し、プリフュージョンエンコーダと互換性を持ち、ファーストトークンまで時間を短縮できるため、その能力はマルチモーダルフュージョンに先行する必要はない。
これらの結果は、エンコーダの事前訓練が自由である場合や、事前訓練された言語モデルから始める場合など、バックボーンのサイズにも及んでいる。
総じて, 背骨と協調訓練を行い, 早期に視力訓練を施行した。
関連論文リスト
- How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining [27.571519364442704]
エンコーダフリーおよびエンコーダベースマルチモーダル大言語モデルのスケーリング法則を比較する。
視覚エンコーダの除去は,マルチモーダル目的の計算最適割当を大規模モデルにシフトさせる。
ビジュアルエンコーダがなければ、言語モデルは視覚固有の適応を通じてその役割を引き継ぐことを学ぶ。
論文 参考訳(メタデータ) (2026-09-28T15:48:41Z) - Perception Encoder: The best visual embeddings are not at the output of the network [70.86738083862099]
本稿では、単純な視覚言語学習によって訓練された画像と映像の理解のための視覚エンコーダであるPerception (PE)を紹介する。
対照的な視覚言語学習だけでは、これらの下流タスクに強力な汎用的な埋め込みを実現できることが分かっています。
PEモデル群は,多種多様なタスクにおいて,クラス内で最高の結果が得られる。
論文 参考訳(メタデータ) (2025-04-17T17:59:57Z) - Unveiling Encoder-Free Vision-Language Models [62.52803514667452]
既存の視覚言語モデル (VLM) は主に視覚的特徴を抽出するために視覚エンコーダに依存しており、視覚言語タスクには大きな言語モデル (LLM) が続く。
エンコーダベースモデルとエンコーダフリーモデルとのギャップを橋渡しし、純粋なVLMに対するシンプルで効果的なトレーニングレシピを示す。
EVEはエンコーダなしの視覚言語モデルで、効率的にトレーニングと転送ができる。
論文 参考訳(メタデータ) (2024-06-17T17:59:44Z) - Battle of the Backbones: A Large-Scale Comparison of Pretrained Models
across Computer Vision Tasks [139.3768582233067]
Battle of the Backbones (BoB)は、ニューラルネットワークベースのコンピュータビジョンシステムのためのベンチマークツールである。
視覚変換器(ViT)と自己教師型学習(SSL)がますます人気になっている。
同じアーキテクチャと同じようなサイズの事前トレーニングデータセット上でのアップルとアプリケーションの比較では、SSLバックボーンは極めて競争力があることが分かりました。
論文 参考訳(メタデータ) (2023-10-30T18:23:58Z) - What Language Model Architecture and Pretraining Objective Work Best for
Zero-Shot Generalization? [50.84738303888189]
本稿では,モデル選択の大規模評価とそのゼロショット一般化への影響について述べる。
私たちは、70億以上のトークンに対して、50億以上のパラメータを持つモデルをトレーニングします。
事前学習した因果デコーダモデルを非因果デコーダモデルに効率的に適用できることが判明した。
論文 参考訳(メタデータ) (2022-04-12T14:19:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。