論文の概要: Rethinking Projector Training in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.18598v1
• Date: Tue, 13 Oct 2026 15:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.665424
• Title: Rethinking Projector Training in Multimodal LLMs
• Title（参考訳）: マルチモーダルLDMにおけるプロジェクタトレーニングの再考
• Abstract要約: マルチモーダル言語トランスレータは通常、大きな画像キャプチャデータセットのプロジェクタトレーニングを通じて、視覚エンコーダと言語モデルとの整列によって訓練される。 広く使われているにもかかわらず、プロジェクターの訓練段階の役割はよく分かっていない。 我々は、ペア画像キャプチャデータや勾配に基づく最適化を必要としない訓練不要なプロジェクタ初期化である Portal を提案する。
• 参考スコア（独自算出の注目度）: 3.3384874808567173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal LLMs are typically trained by first aligning a vision encoder with a language model via projector training on large image-caption datasets, followed by joint training of the full multimodal model. Despite its widespread use, the role of the projector training stage remains poorly understood. We find that (i) using only $10$ to $20\%$ of the data for training the projector already recovers most downstream performance gains, and (ii) projectors trained on different datasets can be linearly interpolated while largely preserving performance. These results suggest that projector training mainly performs a coarse alignment, which many different projectors achieve equally well. Motivated by these findings, we propose PORTAL, a training-free projector initialization that requires neither paired image-caption data nor gradient-based optimization, but only per-modality summary statistics. PORTAL computes an optimal-transport-based map between Gaussian approximations of the vision and language feature distributions on a shared principal subspace, so that the projector training stage can be skipped entirely. Without any paired data, PORTAL matches the standard pipeline trained on 558k image-caption pairs across six LLM backbones, two vision encoders, and 16 benchmarks. It outperforms that pipeline in $3$ of $7$ (vision encoder, LLM) settings and reaches an average $98\%$ of its score across the other four.
• Abstract（参考訳）: マルチモーダル LLM は通常、視覚エンコーダを大きな画像キャプチャデータセットのプロジェクタトレーニングを通じて言語モデルと整列させ、続いて完全なマルチモーダルモデルのジョイントトレーニングによって訓練される。 広く使われているにもかかわらず、プロジェクターの訓練段階の役割はよく分かっていない。 私たちはそれを見つける。 (i) プロジェクターのトレーニングに10ドルから20ドル%のデータしか使用せず、既にほとんどの下流のパフォーマンス向上を回復している。 (ii)異なるデータセットで訓練されたプロジェクタは、線形に補間でき、性能は概ね保たれる。 これらの結果から、プロジェクタートレーニングは主に粗いアライメントを行い、多くの異なるプロジェクターが等しく行うことが示唆された。 これらの知見に触発されたPortalは、ペア画像キャプチャデータも勾配に基づく最適化も必要とせず、モダリティごとの要約統計のみを必要とする訓練不要なプロジェクタ初期化である。 Portalは、視覚と共有主部分空間上の言語特徴分布のガウス近似の最適トランスポートベースのマップを計算し、プロジェクタトレーニングステージを完全にスキップすることができる。 Portalはペアデータなしで、6つのLCMバックボーン、2つのビジョンエンコーダ、16のベンチマークで558kイメージキャプチャペアでトレーニングされた標準パイプラインと一致している。 パイプラインは7ドル(ビジョンエンコーダ、LSM)設定で3ドルを上回り、他の4つの中で平均980セントのスコアに達した。

関連論文リスト

• Projector Is All You Train [0.0]
  既存のベースラインモデルと比較して,プロジェクタのみのトレーニングが,強力なマルチモーダル性能を実現するのに十分であることを示す。 我々は,3次元分類とキャプションベンチマーク,および言語,視覚,空間推論能力を評価する標準ベンチマークを用いて,異なる言語モデルのバックボーンにまたがる知見を検証した。
  論文  参考訳（メタデータ） (2026-08-20T07:23:35Z)
• Data Selection for Fine-tuning Vision Language Models via Cross Modal Alignment Trajectories [45.580892667483674]
  本稿では,LVLM(Large Vision-Language Models)のデータ効率向上のための第一原理的指導法を提案する。 XMASクラスタの例は、小さなプロキシLVLMを微調整して得られた注目行列の最高特異値の軌跡に基づいている。 XMASは10下流ベンチマークでLLaVA-1.5-7Bのパフォーマンスを維持しながら、LLaVA-665kデータセットの50%とVision-Flanデータセットの85%を破棄することができる。
  論文  参考訳（メタデータ） (2025-10-01T20:47:29Z)
• Zero-Shot Vision Encoder Grafting via LLM Surrogates [65.37227522413689]
  視覚言語モデル(VLM)は通常、控えめな大きさの視覚エンコーダと大きな言語モデル(LLM)をペアリングする。 我々は,大対象LLMと同じ埋め込み空間と表現言語を共有する小さな「代理モデル」を構築した。 その後、サロゲートで訓練された視覚エンコーダを、より大きなモデルに直接転送することができる。
  論文  参考訳（メタデータ） (2025-05-28T17:59:59Z)
• AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
  大規模言語モデル(LLM)は、画像やビデオなどの視覚的データの強力な理解を示すマルチモーダルLLMの作成を可能にする。 多様な効率要件を満たすマルチモーダルLCMの学習自由適応推論法を提案する。
  論文  参考訳（メタデータ） (2024-12-04T11:47:57Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• SOLO: A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。