論文の概要: Scaling Native Multimodal Pre-Training From Scratch

• arxiv url: http://arxiv.org/abs/2607.22043v1
• Date: Fri, 24 Jul 2026 07:13:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.073273
• Title: Scaling Native Multimodal Pre-Training From Scratch
• Title（参考訳）: Scratchによるネイティブマルチモーダル事前トレーニングのスケールアップ
• Abstract要約: 固定計算予算下での視覚言語モデルの学習に最適なモデルサイズとトークン数について検討する。 予測可能な計算法則に従属する最小の客観損失を示す一方、計算最適モデルのサイズとトークン数はパワー法則としてスケールする。 下流評価では、ネイティブマルチモーダル事前学習が正のクロスモーダル転送を引き起こすことが示されている。
• 参考スコア（独自算出の注目度）: 15.178882099650174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models (LLMs) exhibit remarkable reasoning capabilities, their reliance on text-only pre-training restricts the perception of the multimodal physical world. Native multimodal pre-training avoids this limitation by training models from scratch on multimodal inputs, thereby achieving deep cross-modal integration and mitigating optimization asymmetries inherent to traditional late-fusion architectures. Despite these advantages, the scaling properties of this paradigm remain systematically uncharacterized. To address this gap, we investigate the optimal model size and token count for training a transformer-based vision-language model under a fixed computational budget. We demonstrate that minimal objective loss adheres to a predictable compute law, whereas compute-optimal model sizes and token counts scale as power laws. Notably, language and multimodal objectives manifest distinct scaling behaviors. The language allocation law is largely invariant to the composition of the data, indicating stable language learning regardless of the multimodal data ratio. Conversely, the multimodal allocation law is highly sensitive to this composition. Specifically, text-heavy mixtures become compute-efficient only at larger model scales, shifting the optimal resource allocation toward greater model capacity. Additionally, by modeling the influence of data composition on compute laws and allocation exponents, we derive an efficiency frontier specifying precise configurations of model size, token count, and data mixture. Downstream evaluations further reveal that native multimodal pre-training induces positive cross-modal transfer, thereby enhancing pure-text spatial reasoning and enabling robust multimodal in-context learning. In summary, this empirical research establishes the essential groundwork for predictably scaling multimodal foundation models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な推論能力を示すが、テキストのみによる事前学習に依存しているため、マルチモーダル物理世界の知覚が制限される。 ネイティブなマルチモーダル事前訓練は、マルチモーダル入力をスクラッチからトレーニングすることで、この制限を回避する。 これらの利点にもかかわらず、このパラダイムのスケーリング特性は体系的に非文字化されている。 このギャップに対処するために、固定された計算予算の下でトランスフォーマーベースの視覚言語モデルをトレーニングするための最適なモデルサイズとトークン数について検討する。 我々は、最小の客観損失は予測可能な計算法則に従属することを示したが、計算最適モデルのサイズとトークン数は、パワー法則としてスケールする。 特に、言語とマルチモーダルの目的は、異なるスケーリングの振る舞いを示す。 言語割当法は主にデータの構成に不変であり、マルチモーダルデータ比に関係なく安定した言語学習を示す。 逆に、マルチモーダル割当法はこの構成に非常に敏感である。 具体的には、テキスト-重混合は、より大きなモデルスケールでのみ計算効率が良くなり、最適なリソース割り当てをより大きなモデルキャパシティにシフトする。 さらに、データ構成が計算法則や割当指数に与える影響をモデル化することにより、モデルサイズ、トークン数、データ混合の正確な構成を指定する効率フロンティアを導出する。 下流評価では、ネイティブマルチモーダル事前学習は、正のクロスモーダル転送を誘導し、純粋テキスト空間推論を向上し、堅牢なマルチモーダル・イン・コンテクスト学習を可能にすることが明らかにされている。 まとめると、この実証的研究は、マルチモーダル基礎モデルの予測スケーリングに不可欠な基礎を確立させる。

関連論文リスト

• Beyond Language Modeling: An Exploration of Multimodal Pretraining [125.34714978184638]
  我々は、制御されたオフスクラッチ事前学習実験を通して経験的明瞭度を提供する。 我々はトランスフュージョン・フレームワークを採用し、言語と視覚の拡散を次々に予測する。 我々は、MoEアーキテクチャが、言語によって要求される高いモデル容量を提供することにより、このスケーリング非対称性を調和させることを実証する。
  論文  参考訳（メタデータ） (2026-03-03T18:58:00Z)
• DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding [26.39397960987363]
  本稿では,事前学習したトランスモデルに対する簡単な修正を提案する。 まず最初に言語プロンプトと結合するのではなく、マルチモーダルトークンを直接中央に挿入します。 その結果,本手法は,学習と推論の双方において計算コストを削減できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-27T18:56:26Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Scaling Law Hypothesis for Multimodal Model [8.215178209572201]
  共有トークンと埋め込み空間内でテキスト、音声、画像、ビデオを処理するマルチモーダルモデルに対するスケーリング法則仮説を提案する。 本フレームワークは、モダリティ固有の圧縮とトークン化効率に基づいてモデル性能を予測し、テキストベースのデコーダモデルから混合モダリティシステムまで、確立されたスケーリング法則を拡張した。
  論文  参考訳（メタデータ） (2024-09-10T16:05:02Z)
• Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning for Efficient Adaptation [70.22782550540714]
  QSLAWと呼ばれるマルチモーダルワームアップに基づく量子化対応スケールルアーニング法 本稿では、QSLAWと呼ばれるマルチモーダルワームアップに基づく量子化対応スケールLeArning手法を提案する。
  論文  参考訳（メタデータ） (2024-08-07T12:42:09Z)
• Diff-eRank: A Novel Rank-Based Metric for Evaluating Large Language Models [10.677971531050611]
  情報理論と幾何原理を基礎としたランクベースの計量 Diff-eRank を導入する。 言語モデルでは,Diff-eRankはモデルサイズとともに増加し,損失や精度といった従来の指標と相関することを示す。 本手法では,eRankに基づくアライメント評価手法を提案し,同時代のマルチモーダルLLMがアライメント性能が高いことを示す。
  論文  参考訳（メタデータ） (2024-01-30T16:19:55Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training [71.37731379031487]
  クロスモーダルコントラスト学習フレームワークにおいて,BriVLと呼ばれる2重塔前訓練モデルを提案する。 単純なコントラスト学習手法を採用したopenaiクリップとは異なり,最新のメソッドmocoをクロスモーダルシナリオに適用することにより,より高度なアルゴリズムを考案する。 大規模なキューベースの辞書を構築することで、BriVLは限られたGPUリソースにネガティブなサンプルを組み込むことができます。
  論文  参考訳（メタデータ） (2021-03-11T09:39:49Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Scaling Laws for Neural Language Models [14.472857826717613]
  クロスエントロピー損失に対する言語モデル性能のスケーリング法則について検討する。 損失は、モデルサイズ、データセットサイズ、トレーニングに使用される計算量など、パワーローとしてスケールする。
  論文  参考訳（メタデータ） (2020-01-23T03:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。