論文の概要: Scaling Laws for Multimodal Data Mixtures

• arxiv url: http://arxiv.org/abs/2610.14423v1
• Date: Sat, 10 Oct 2026 00:42:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 21:41:32.734289
• Title: Scaling Laws for Multimodal Data Mixtures
• Title（参考訳）: マルチモーダルデータ混合のスケーリング法則
• Abstract要約: テキスト,視覚,音声の3つのモードに対して,データ混合法則を導出する。 我々は457万から8.3Bまで、最大150億のトークンで268の実験を行った。
• 参考スコア（独自算出の注目度）: 90.62346217582403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier AI systems are increasingly natively multimodal, jointly pretrained on multiple modalities, such as text, vision, and audio. However, the scientific understanding of the multimodal data mixtures used to pretrain these systems --- how much of each modality to mix, and at what potential interference cost to the others --- is largely absent or gatekept. In this work, we derive data mixing scaling laws for three modalities: text, vision, and audio. Multimodal Large Language Models (MLLMs) increasingly adopt Mixture-of-Experts (MoE) architectures, as MoEs scale efficiently and partially limit cross-modal interference. We therefore use MoEs to conduct 268 experiments ranging from 457M to 8.3B parameters, on up to 150 billion tokens. Our work leads to multiple actionable insights into multimodal data mixing for training MLLMs. First, compute optima are modality-specific: audio modality is model-heavy, favoring scaling parameters over tokens, while text and vision require balanced scaling of model size and data. Second, repeating vision or audio data beyond 2x yields negligible benefits. Finally, cross-modal interactions are highly asymmetric: vision strongly interferes with audio, whereas audio's interference with learning text and vision is negligible. Overall, we provide a principled foundation for understanding the multimodal data mixtures needed to train frontier MLLMs.
• Abstract（参考訳）: フロンティアAIシステムは、テキスト、ビジョン、オーディオなど、複数のモードで共同で事前訓練された、ネイティブなマルチモーダルになりつつある。 しかし、これらのシステムの事前訓練に使用されるマルチモーダルデータ混合物の科学的理解 – それぞれのモダリティのどの程度が混在し、他のシステムにどのような干渉コストがかかるか – は、ほとんど欠落している。 本研究では,テキスト,視覚,音声の3つのモードに対して,データ混合法則を導出する。 MLLM(Multimodal Large Language Models)は、Mixture-of-Experts (MoE)アーキテクチャを採用する傾向にある。 したがって、MoEsを用いて457万から8.3Bのパラメータから最大150億のトークンに対して268の実験を行う。 我々の研究は、MLLMのトレーニングのためのマルチモーダルデータミキシングに関する複数の実用的な洞察をもたらす。 音声モダリティはモデル重で、トークンよりもスケーリングパラメータを好んでおり、テキストとビジョンはモデルサイズとデータのバランスの取れたスケーリングを必要とする。 第二に、視覚やオーディオデータを2倍を超えて繰り返すことは、無視できる利益をもたらす。 視覚は音声に強く干渉するが、音声の学習テキストや視覚への干渉は無視できる。 全体として、フロンティアMLLMの訓練に必要なマルチモーダルデータ混在を理解するための基本的な基盤を提供する。

関連論文リスト

• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding [26.39397960987363]
  本稿では,事前学習したトランスモデルに対する簡単な修正を提案する。 まず最初に言語プロンプトと結合するのではなく、マルチモーダルトークンを直接中央に挿入します。 その結果,本手法は,学習と推論の双方において計算コストを削減できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-27T18:56:26Z)
• Baichuan-Omni-1.5 Technical Report [78.49101296394218]
  Baichuan-Omni-1.5は、Omni-modalの理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えたOmni-modalモデルである。 マルチモーダルデータのための包括的データクリーニングと合成パイプラインを構築し,約500Bの高品質データを取得する。 第二に、音声トケナイザは、音声から意味情報と音響情報をキャプチャし、シームレスな統合とMLLMとの互換性の強化を可能にするように設計されている。
  論文  参考訳（メタデータ） (2025-01-26T02:19:03Z)
• OmniBind: Large-scale Omni Multimodal Representation via Binding Spaces [67.07083389543799]
  我々は,70億から300億のパラメータからなる大規模マルチモーダル関節表現モデルOmniBindを提案する。 全てのモダリティにまたがるデータペアが不足しているため、スクラッチから大規模モデルをトレーニングする代わりに、様々な事前訓練された専門家モデルの空間を再マッピングし結合することを提案する。 実験では、OmniBindのオムニ表現モデルとしての汎用性と優位性を示し、多様なアプリケーションに対するその大きな可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-16T16:24:31Z)
• Multimodal Masked Autoencoders Learn Transferable Representations [127.35955819874063]
  単純でスケーラブルなネットワークアーキテクチャであるM3AE(Multimodal Masked Autoencoder)を提案する。 M3AEは、マスク付きトークン予測により、視覚と言語データの両方の統一エンコーダを学習する。 我々は,大規模な画像テキストデータセット上で訓練されたM3AEについて実証的研究を行い,M3AEが下流タスクによく伝達される一般化可能な表現を学習できることを見出した。
  論文  参考訳（メタデータ） (2022-05-27T19:09:42Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• Leveraging Uni-Modal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition [23.239078852797817]
  マルチモーダル音声視覚音声認識(AVSR)の推進に一様自己教師型学習を活用する。 特に、私たちはまず大規模なユニモーダルデータセットでオーディオとビジュアルエンコーダをトレーニングし、その後、両方のエンコーダのコンポーネントをより大きなマルチモーダルフレームワークに統合します。 本モデルは,単語レベルと文レベルの両方のAVSRタスクに対して実験的に検証される。
  論文  参考訳（メタデータ） (2022-02-24T15:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。