論文の概要: Encoder-Free Multimodal LLMs Learn Implicit Encoders

• arxiv url: http://arxiv.org/abs/2610.24239v1
• Date: Fri, 16 Oct 2026 21:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 02:56:54.993609
• Title: Encoder-Free Multimodal LLMs Learn Implicit Encoders
• Title（参考訳）: エンコーダなしマルチモーダル LLM は暗黙エンコーダを学習する
• Abstract要約: 我々は最近提案されたエンコーダフリーマルチモーダルLLM, Gemma-4 12B と Inkling-Small を実験的に解析した。 従来のマルチモーダルLLMとは異なり、これらのモデルはオーディオや画像入力を表すトークン化された埋め込みを抽出するためにモダリティ固有のエンコーダを使用しない。 これらの初期のレイヤは、実際には暗黙のエンコーダとして機能し、オーディオや視覚的な入力を、そのクロスモーダルなコンテキストにほとんど変化しない方法で符号化している。
• 参考スコア（独自算出の注目度）: 42.430824112443894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We empirically analyze two recently proposed encoder-free multimodal LLMs, Gemma-4 12B and Inkling-Small. Unlike previous multimodal LLMs, these models do not use modality-specific encoders to extract tokenized embeddings representing audio and image input; instead, they directly feed windows of samples, pixels, or spectral features to the Transformer language model. We analyze whether the early layers of these models learn to function similarly to dedicated audio and visual encoders. We find that these early layers do in fact act as ``implicit encoders,'' encoding audio and visual inputs in a way that is largely invariant to their cross-modal context. Furthermore, when performing multimodal reasoning tasks, we show that independently encoding the modalities throughout these early model layers achieves the same accuracy as jointly encoding them from the first layer onwards. Finally, we use layer-wise probing to analyze the salient information captured by the implicit encoders and find their behavior to be similar to several popular encoder models.
• Abstract（参考訳）: 我々は最近提案されたエンコーダフリーマルチモーダルLLM, Gemma-4 12B と Inkling-Small を実験的に解析した。 従来のマルチモーダルLLMとは異なり、これらのモデルはモダリティ固有のエンコーダを使用しず、音声や画像入力を表すトークン化された埋め込みを抽出する代わりに、サンプル、ピクセル、スペクトルのウィンドウを直接トランスフォーマー言語モデルに供給する。 これらのモデルの初期層が専用オーディオやビジュアルエンコーダと同様に機能することを学習するかどうかを分析する。 これらの初期のレイヤは、実際には 'implicit encoders' として動作し、オーディオや視覚的な入力を、そのクロスモーダルなコンテキストにほとんど不変な方法でエンコードする。 さらに、マルチモーダル推論タスクを行う場合、これらの初期モデル層全体を通して、モダリティを独立に符号化することで、第1層から連続的に符号化するのと同じ精度が得られることを示す。 最後に,レイヤワイズ探索を用いて暗黙のエンコーダが捉えた有能な情報を解析し,それらの振る舞いを複数の一般的なエンコーダモデルに類似していることを示す。

関連論文リスト

• How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining [27.571519364442704]
  エンコーダフリーおよびエンコーダベースマルチモーダル大言語モデルのスケーリング法則を比較する。 視覚エンコーダの除去は,マルチモーダル目的の計算最適割当を大規模モデルにシフトさせる。 ビジュアルエンコーダがなければ、言語モデルは視覚固有の適応を通じてその役割を引き継ぐことを学ぶ。
  論文  参考訳（メタデータ） (2026-09-28T15:48:41Z)
• Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
  Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。 チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
  論文  参考訳（メタデータ） (2026-03-13T08:55:27Z)
• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models [65.96186414865747]
  テキスト・ツー・イメージ(T2I)拡散モデルは、推論速度と画質のトレードオフに直面している。 学生モデルUNetアーキテクチャのための最初の時間非依存の統一TiUEを紹介する。 ワンパススキームを使用して、TiUEは複数のデコーダタイムステップにまたがるエンコーダ機能を共有し、並列サンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-05-28T04:23:22Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models [22.276574156358084]
  我々は,各デコーダ層が妥当な予測を生成できるように,深層監視で訓練されたマルチエキシット・エンコーダ・デコーダ・トランスフォーマモデルを構築した。 提案手法は,ベースラインに比べて精度が向上し,全体の推論遅延を30%から60%削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-15T01:01:02Z)
• DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers [6.405360669408265]
  本稿では,エンコーダ・デコーダ変換器を簡易に解析する手法を提案する。 LogitLens(デコーダのみのトランスフォーマー)にインスパイアされたこの手法では、デコーダが中間エンコーダ層を横断的に表現できるようにする。 質問応答,論理的推論,音声認識,機械翻訳を訓練したモデルに適用したDecoderLensの結果を報告する。
  論文  参考訳（メタデータ） (2023-10-05T17:04:59Z)
• MED-VT++: Unifying Multimodal Learning with a Multiscale Encoder-Decoder Video Transformer [12.544216587327387]
  本稿では,ビデオ中の高密度な予測タスクに着目した,エンドツーエンドのトレーニング可能なマルチスケールエンコーダ・デコーダ変換器を提案する。 提示されたMED-VT(Multiscale-Decoder Video)は、ビデオ全体にわたってマルチスケール表現を使用し、ビデオ以外の任意の入力を使用する。 本稿では,時間的に一貫したビデオ予測を提供するため,多対多のラベル伝搬によるトランスダクティブ学習方式を提案する。
  論文  参考訳（メタデータ） (2023-04-12T15:50:19Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。