論文の概要: Projector Is All You Train

• arxiv url: http://arxiv.org/abs/2608.19726v1
• Date: Thu, 20 Aug 2026 07:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.481899
• Title: Projector Is All You Train
• Title（参考訳）: プロジェクターは全部訓練する
• Abstract要約: 既存のベースラインモデルと比較して,プロジェクタのみのトレーニングが,強力なマルチモーダル性能を実現するのに十分であることを示す。 我々は,3次元分類とキャプションベンチマーク,および言語,視覚,空間推論能力を評価する標準ベンチマークを用いて,異なる言語モデルのバックボーンにまたがる知見を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The typical training process of a multimodal large language model (MLLM) involves adapting both the language model backbone and the projector between the backbone and a modality-specific encoder. We ask whether fine-tuning the backbone of an MLLM is necessary to adapt it to a new modality. Through experiments on 3D MLLMs, we find that training only the projector is sufficient to achieve strong multimodal performance relative to existing baseline models and our jointly trained MLLMs with the same encoder and backbone. We also show that joint training leads to undesirable drift in existing capabilities of the language model, which projector-only training avoids by definition. Furthermore, projector-only training has approximately twice the training sample throughput of joint training. We validate our findings across different language model backbones via 3D classification and captioning benchmarks as well as standard benchmarks evaluating language, vision, and spatial reasoning capabilities.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の典型的なトレーニングプロセスは、言語モデルバックボーンと、バックボーンとモダリティ固有のエンコーダの間のプロジェクタの両方を適応させることである。 MLLMのバックボーンの微調整が新しいモダリティに適応するために必要かどうかを問う。 3次元MLLMの実験により、既存のベースラインモデルと、同じエンコーダとバックボーンを持つ協調訓練されたMLLMと比較して、プロジェクタのみのトレーニングが、強力なマルチモーダル性能を達成するのに十分であることが判明した。 また,共同学習が言語モデルの既存の能力の低下を招き,プロジェクタのみのトレーニングが定義によって回避されることを示す。 さらに、プロジェクタのみのトレーニングは、ジョイントトレーニングのトレーニングサンプルスループットの約2倍である。 我々は,3次元分類とキャプションベンチマーク,および言語,視覚,空間推論能力を評価する標準ベンチマークを用いて,異なる言語モデルのバックボーンにまたがる知見を検証した。

関連論文リスト

• 3DFroMLLM: 3D Prototype Generation only from Pretrained Multimodal LLMs [20.066858984253763]
  3DFroMLLMは、3DオブジェクトのプロトタイプをMLLMから直接生成できる新しいフレームワークである。 我々は,このフレームワークによって生成されたレンダリング画像が,画像分類事前学習タスクに効果的に利用できることを示した。 実世界の魅力的なユースケースとして、生成したプロトタイプを利用して視覚言語モデルを改善することができることを示す。
  論文  参考訳（メタデータ） (2025-08-12T10:21:59Z)
• InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models [139.19991097260115]
  InternVL3は、ネイティブなマルチモーダル事前学習パラダイムを備えたInternVLシリーズの重要な進歩である。 特に、InternVL3-78B は MMMU ベンチマークで72.2 のスコアを獲得し、オープンソースの MLLM に新しい最先端技術を設定する。 オープンサイエンスの原則を追求するため、我々は、次世代MLLMのさらなる研究・開発を促進するために、トレーニングデータとモデルウェイトの両方を公開します。
  論文  参考訳（メタデータ） (2025-04-14T17:59:25Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
  本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
  論文  参考訳（メタデータ） (2023-12-04T01:42:09Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training [21.934439663979663]
  多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM) 教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法 2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-02-28T09:51:32Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation [76.12027504427708]
  本稿では,マルチモーダル理解と生成のためのUnified Video and Language事前学習モデルUniVLを提案する。 2つのシングルモーダルエンコーダ、クロスエンコーダ、トランスフォーマーバックボーンを備えたデコーダを含む4つのコンポーネントから構成される。 ステージバイステージ事前学習(StagedP)と拡張ビデオ表現(EnhancedV)の2つの事前学習戦略を開発し、UniVLのトレーニングプロセスをより効果的にする。
  論文  参考訳（メタデータ） (2020-02-15T10:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。