論文の概要: Linear Model Merging Unlocks Simple and Scalable Multimodal Data Mixture Optimization

• arxiv url: http://arxiv.org/abs/2602.04937v1
• Date: Wed, 04 Feb 2026 16:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.562196
• Title: Linear Model Merging Unlocks Simple and Scalable Multimodal Data Mixture Optimization
• Title（参考訳）: 単純かつスケーラブルなマルチモーダルデータ混合最適化のための線形モデルマージ
• Authors: Davide Berasi, Matteo Farina, Massimiliano Mancini, Elisa Ricci,
• Abstract要約: 異なるデータ混合物の性能を推定するための効率的な戦略としてモデルマージについて検討する。 我々は14のマルチモーダルベンチマーク実験を行い、プロキシモデルが実際のデータ混合に基づいてトレーニングされたモデルと高い相関を示すことを実証的に実証した。
• 参考スコア（独自算出の注目度）: 38.78268216433473
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Selecting the best data mixture is critical for successful Supervised Fine-Tuning (SFT) of Multimodal Large Language Models. However, determining the optimal mixture weights across multiple domain-specific datasets remains a significant bottleneck due to the combinatorial search space and the high cost associated with even a single training run. This is the so-called Data Mixture Optimization (DMO) problem. On the other hand, model merging unifies domain-specific experts through parameter interpolation. This strategy is efficient, as it only requires a single training run per domain, yet oftentimes leads to suboptimal models. In this work, we take the best of both worlds, studying model merging as an efficient strategy for estimating the performance of different data mixtures. We train domain-specific multimodal experts and evaluate their weighted parameter-space combinations to estimate the efficacy of corresponding data mixtures. We conduct extensive experiments on 14 multimodal benchmarks, and empirically demonstrate that the merged proxy models exhibit a high rank correlation with models trained on actual data mixtures. This decouples the search for optimal mixtures from the resource-intensive training process, thereby providing a scalable and efficient strategy for navigating the complex landscape of mixture weights. Code is publicly available at https://github.com/BerasiDavide/mLLMs_merging_4_DMO.
• Abstract（参考訳）: 最高のデータ混合を選択することは、マルチモーダル大言語モデルのスーパービジョンファインチューニング(SFT)の成功に不可欠である。 しかし、複数のドメイン固有のデータセットにまたがる最適な混合重み付けを決定することは、組合せ探索空間と、1回のトレーニングの実行にさえ関連する高コストのため、大きなボトルネックとなっている。 これはいわゆるデータ混合最適化(DMO)問題である。 一方、モデルマージはパラメータ補間によってドメイン固有の専門家を統一する。 この戦略は効率が良く、ドメイン毎に単一のトレーニングを実行するだけでよい。 本研究では、異なるデータ混合物の性能を推定するための効率的な戦略として、モデルマージについて研究する。 我々は、ドメイン固有のマルチモーダル専門家を訓練し、その重み付けされたパラメータ空間の組み合わせを評価し、対応するデータ混合物の有効性を推定する。 我々は14のマルチモーダルベンチマークで広範囲に実験を行い、マージされたプロキシモデルが実際のデータ混合に基づいてトレーニングされたモデルと高いランク相関を示すことを実証的に実証した。 これにより、資源集約的なトレーニングプロセスから最適な混合物の探索を分離し、混合重量の複雑な風景をナビゲートするためのスケーラブルで効率的な戦略を提供する。 コードはhttps://github.com/BerasiDavide/mLLMs_merging_4_DMOで公開されている。

関連論文リスト

• Decouple Searching from Training: Scaling Data Mixing via Model Merging for Large Language Model Pre-training [16.022416196267937]
  本稿では,モデルマージを利用して最適なデータ比を推定する新しいフレームワークであるDeouple Searching from Training Mix (DeMix)を提案する。 DeMixは,検索効率,精度,効率のトレードオフを破り,検索コストの低いベンチマーク性能と最適混合が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T14:27:46Z)
• MergeMix: Optimizing Mid-Training Data Mixtures via Learnable Model Merging [72.00014675808228]
  textbfMixは、重みをマージするモデルを高忠実で低コストなパフォーマンスプロキシとして再利用することで、最適なデータ混合比を決定する。 8B と 16B のパラメータを持つモデルの実験では、MergeMix が完全なマニュアルチューニングに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-01-25T14:31:57Z)
• MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning [37.71233459623324]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、最近、大規模言語モデル(LLM)のポストトレーニングのための強力なパラダイムとして登場した。 RLVRをMultimodal LLM(MLLMs)に適用することは大きなチャンスであるが、視覚言語タスクの広範で異質な性質により複雑である。 本稿では、厳密なデータ混合問題定式化とベンチマーク実装を備えたマルチモーダルLLM RLVRのための体系的な後学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T17:59:38Z)
• Merge to Mix: Mixing Datasets via Model Merging [2.990932417718553]
  大規模モデル(LM)を微調整するためのデータセットの混合は、下流タスクのパフォーマンスを最大化するために重要になっている。 モデルマージによるデータセットの合成を高速化する新しい手法であるtextitMerge to Mix$を提案する。 実験により、Merge to Mixは、微調整LMのためのデータセット選択において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-05-21T22:34:13Z)
• CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
  本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。 ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T17:58:13Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。