論文の概要: FastMix: Fast Data Mixture Optimization via Gradient Descent

• arxiv url: http://arxiv.org/abs/2606.14971v1
• Date: Fri, 12 Jun 2026 21:46:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.548084
• Title: FastMix: Fast Data Mixture Optimization via Gradient Descent
• Title（参考訳）: FastMix: グラディエントDescentによる高速データ混合最適化
• Authors: Haoru Tan, Sitong Wu, Yanfeng Chen, Jun Xia, Ruobing Xie, Bin Xia, Xingwu Sun, Xiaojuan Qi,
• Abstract要約: Fastmixは、単一のプロキシモデルのみをトレーニングしながら、データミックスの検出を自動化する新しいフレームワークである。 混合比の最適化は、均一なソースサンプリングの下で、ソース当たりの損失重みを割り当てることと数学的に等価であることを示す。 FASTmixはベースラインを上回り、事前トレーニングや後トレーニングで検索コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 55.109758242985556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large and diverse datasets have driven recent advances in large models, identifying the optimal data mixture for pre-training and post-training remains a significant open problem. We address this challenge with FASTMIX, a novel framework that automates data mixture discovery while training only a single proxy model. Instead of relying on predefined heuristics or resource-intensive simulations, FASTMIX jointly optimizes mixture coefficients and model parameters, substantially improving efficiency and scalability over prior approaches. At the core of FASTMIX is a reformulation of mixture selection as a bilevel optimization problem. Under this reformulation, we show that optimizing mixture ratios is mathematically equivalent to assigning per-source loss weights under uniform source sampling. This embeds the mixture coefficients directly into the differentiable iterative optimization objective, enabling efficient, gradient-based optimization of both mixture and model. To solve the optimization problem, FASTMIX implements an approximate iterative optimization procedure, alternating between (i) updating model parameters on data sampled according to current mixture ratios (inner loop) and (ii) updating mixture ratios based on validation feedback (outer loop). Across pre- and post-training, FASTMIX outperforms baselines while drastically reducing search cost. Code (https://github.com/hrtan/fastmix)
• Abstract（参考訳）: 大規模で多様なデータセットが近年の大規模モデルの進歩を牽引しているが、事前トレーニングと後トレーニングのための最適なデータ混合を特定することは、依然として大きな問題である。 この課題に対処するFASTMIXは、単一のプロキシモデルのみをトレーニングしながら、データの混合検出を自動化する新しいフレームワークです。 事前に定義されたヒューリスティックや資源集約的なシミュレーションに頼る代わりに、FASTMIXは混合係数とモデルパラメータを共同で最適化し、従来のアプローチよりも効率とスケーラビリティを大幅に改善する。 FASTMIXの中核は、二段階最適化問題としての混合選択の再構成である。 この改定により,混合比の最適化は,一様ソースサンプリングの下でのソース当たりの損失重み付けと数学的に等価であることを示す。 これにより、混合係数を微分可能な反復最適化の目的に直接組み込むことができ、混合とモデルの両方の効率よく勾配に基づく最適化が可能になる。 最適化問題を解くため、FASTMIXは近似反復最適化手法を実装した。 二 現在の混合比率(インナーループ)に応じてサンプリングされたデータのモデルパラメータを更新すること。 2)検証フィードバック(外部ループ)に基づいて混合比率を更新する。 FASTMIXは、事前および後トレーニングを通じて、検索コストを大幅に削減しながら、ベースラインを上回っている。 コード(https://github.com/hrtan/fastmix)

関連論文リスト

• Decouple Searching from Training: Scaling Data Mixing via Model Merging for Large Language Model Pre-training [16.022416196267937]
  本稿では,モデルマージを利用して最適なデータ比を推定する新しいフレームワークであるDeouple Searching from Training Mix (DeMix)を提案する。 DeMixは,検索効率,精度,効率のトレードオフを破り,検索コストの低いベンチマーク性能と最適混合が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T14:27:46Z)
• MergeMix: Optimizing Mid-Training Data Mixtures via Learnable Model Merging [72.00014675808228]
  textbfMixは、重みをマージするモデルを高忠実で低コストなパフォーマンスプロキシとして再利用することで、最適なデータ混合比を決定する。 8B と 16B のパラメータを持つモデルの実験では、MergeMix が完全なマニュアルチューニングに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-01-25T14:31:57Z)
• Merge to Mix: Mixing Datasets via Model Merging [2.990932417718553]
  大規模モデル(LM)を微調整するためのデータセットの混合は、下流タスクのパフォーマンスを最大化するために重要になっている。 モデルマージによるデータセットの合成を高速化する新しい手法であるtextitMerge to Mix$を提案する。 実験により、Merge to Mixは、微調整LMのためのデータセット選択において最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-05-21T22:34:13Z)
• Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models [24.396525123797073]
  本稿では,各候補混合物に対応するクロスエントロピー損失の効率的な近似により,データ混合の事前学習を最適化する手法を提案する。 我々はこの近似を回帰モデルにおける付加的な特徴の源として用い、少数の混合物に対するモデル損失の観測から訓練した。
  論文  参考訳（メタデータ） (2025-02-21T21:27:48Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。