論文の概要: Repetition Mismatch: Why Data Mixture Experiments Don't Scale and How to Fix Them
- arxiv url: http://arxiv.org/abs/2606.07597v1
- Date: Fri, 29 May 2026 06:08:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.762429
- Title: Repetition Mismatch: Why Data Mixture Experiments Don't Scale and How to Fix Them
- Title（参考訳）: 反復ミスマッチ:なぜデータ混合実験はスケールしないのか、どのように修正するか
- Abstract要約: トレーニング前のデータ混合は、小規模な実験を実行し、ターゲットのトレーニング予算を外挿することで、一般的に調整される。
高品質なデータセットは小さいので、トレーニング予算が増加するにつれて、反復率も変化します。
我々は,小規模混合実験が一般化するか否かを,単体ではなく反復力学で示す。
- 参考スコア（独自算出の注目度）: 14.318109745824865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-training data mixtures are commonly tuned by running small-scale experiments and extrapolating to the target training budget. When high-quality data is scarce and must be repeated, this extrapolation frequently fails, but the source of the failure has not been isolated. We show that a primary culprit is a repetition mismatch: because high-quality datasets are small, their repetition rate changes as the training budget grows, shifting the optimal mixture in ways that small-scale proxy experiments do not anticipate. A subsampling procedure that matches the target repetition rate controls for this effect. In a two-source setting combining limited high-quality data with web crawl, a single repetition-controlled experiment using only 1/16 of the target tokens recovers a mixture within 0.05 of the optimum for a 757M parameter model, compared to an error of 0.75 without repetition control. Achieving comparable accuracy without repetition control requires three to four horizons, consuming 44 to 94% of the target token budget. With three data sources, the larger mixture space requires more than a single experiment to constrain, but the approach remains effective: at the 757M scale, just two repetition-controlled horizons recover the optimal mixture, outperforming baselines that instead require the full two-source experiments to construct. Our results reveal that repetition dynamics, not scale alone, shape whether small-scale mixture experiments generalize. More broadly, they suggest that data repetition deserves treatment as a first-class variable in mixture optimization, rather than an inconvenient side effect of limited data.
- Abstract（参考訳）: トレーニング前のデータ混合は、小規模な実験を実行し、ターゲットのトレーニング予算を外挿することで、一般的に調整される。
高品質なデータが乏しく、繰り返しなければならない場合、この外挿は頻繁に失敗するが、失敗の原因は孤立していない。
高品質なデータセットは小さいため、トレーニング予算が増加するにつれて繰り返し率が変化し、小規模のプロキシ実験が予想しない方法で最適な混合がシフトする。
この効果に対して、目標の反復率に一致するサブサンプリング手順が制御される。
限定された高品質データとWebクローリングを組み合わせた2ソース設定において、ターゲットトークンの1/16しか使用していない単一繰り返し制御実験は、757Mパラメータモデルに対する最適値の0.05以内の混合物を、繰り返し制御のない0.75の誤差と比較して回収する。
繰り返し制御なしで同等の精度を達成するには、3～4つの水平線が必要であり、目標となるトークン予算の44～94%を消費する。
3つのデータソースでは、より大きな混合空間は1つの実験以上の制約を必要とするが、このアプローチは依然として有効である: 757Mスケールでは、2つの繰り返し制御された水平線だけが最適な混合を回復し、代わりに2つのソース実験の完全な構築を必要とするベースラインを上回る。
以上の結果から,小規模混合実験が一般化するか否かを,単体ではなく反復力学を用いて検討した。
より広範に、データ反復は、限られたデータの不都合な副作用ではなく、混合最適化において第一級変数として扱われるべきである、と提案されている。
関連論文リスト
- Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data [119.14301046837822]
データ繰り返しにおいて、Mixture-of-Experts(MoEs)はより高速に劣化することを示す。
データが64回以上繰り返された場合でも、MoEは高密度モデルより優れている。
高繰り返し状態におけるMoE過剰適合と相関する内部機構を解析した。
論文 参考訳（メタデータ） (2026-09-10T17:57:33Z) - Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings [24.462817377406754]
データ制約領域における言語モデルの事前学習を改善する方法について述べる。
私たちは低資源のターゲットとしてアラビア語を使い、補助として英語を使います。
検証損失に関するユニークなターゲットデータと、ダウンストリームタスクの精度に関する2-13$times$とで、パフォーマンスを2--3$times$と同等に向上します。
論文 参考訳（メタデータ） (2026-05-13T09:17:51Z) - Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time [51.671620992989375]
OP-Mixは、言語モデルトレーニングライフサイクル全体にわたって動作するデータミキシングアルゴリズムである。
プレトレーニングでは、OP-Mixは平均パープレキシティの6.3%を混合することなくトレーニングを改善できる。
連続学習では、OP-Mixは再学習とオンライン蒸留の両方のパフォーマンスを66%、全体の95%で比較した。
論文 参考訳（メタデータ） (2026-05-13T02:29:19Z) - Interleaved Resampling and Refitting: Data and Compute-Efficient Evaluation of Black-Box Predictors [15.386375612838371]
本研究では,2乗損失下での大規模実証的リスク最小化の余剰リスクを評価することの課題について検討する。
トレーニングアルゴリズムへのブラックボックスアクセスのみを仮定し、過剰リスクを推定するための効率的な手順を開発する。
論文 参考訳（メタデータ） (2026-03-15T04:41:20Z) - Decouple Searching from Training: Scaling Data Mixing via Model Merging for Large Language Model Pre-training [16.022416196267937]
本稿では,モデルマージを利用して最適なデータ比を推定する新しいフレームワークであるDeouple Searching from Training Mix (DeMix)を提案する。
DeMixは,検索効率,精度,効率のトレードオフを破り,検索コストの低いベンチマーク性能と最適混合が得られることを示す。
論文 参考訳（メタデータ） (2026-01-31T14:27:46Z) - CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。
ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
論文 参考訳（メタデータ） (2025-04-17T17:58:13Z) - Aioli: A Unified Optimization Framework for Language Model Data Mixing [74.50480703834508]
提案手法は, 単層サンプリングベースラインを平均的なテストパープレキシティで一貫した性能を発揮できないことを示す。
我々は、Aioliという新しいオンライン手法を導き、トレーニング全体を通して法パラメータの混合を直接推定し、それらを用いて比率を動的に調整する。
論文 参考訳（メタデータ） (2024-11-08T17:50:24Z) - RegMix: Data Mixture as Regression for Language Model Pre-training [40.45464495981735]
本稿では,レグレッションタスクとして定式化することで,ハイパフォーマンスなデータ混合物を自動的に識別するRegMixを提案する。
RegMixは、様々なデータ混合物で多くの小さなモデルを訓練し、回帰を使って目に見えない混合物のパフォーマンスを予測し、予測された最良の混合を適用して、桁違いの計算量で大規模モデルを訓練する。
論文 参考訳（メタデータ） (2024-07-01T17:31:03Z) - Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。
トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。
提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
論文 参考訳（メタデータ） (2024-03-25T17:14:00Z) - Offline Reinforcement Learning at Multiple Frequencies [62.08749079914275]
本研究では、オフライン強化学習アルゴリズムが、トレーニング中に複数の周波数を混合したデータに対応できるかどうかについて検討する。
学習を安定させるために$Q$-valueの更新率で一貫性を強制する、単純だが効果的なソリューションを提案する。
論文 参考訳（メタデータ） (2022-07-26T17:54:49Z) - MixMix: All You Need for Data-Free Compression Are Feature and Data
Mixing [30.14401315979937]
一般化可能性と不正確な逆転の難しさを克服するために、MixMixを提案する。
理論的および経験的両面からMixMixの有効性を実証する。
MixMixは、既存のデータフリー圧縮作業と比較して、量子化とプルーニングで最大4%と20%の精度アップリフトを達成する。
論文 参考訳（メタデータ） (2020-11-19T15:33:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。