論文の概要: A Scaling Theory of Multi-Epoch Pretraining: Late-Time Overfitting and Ensembling

• arxiv url: http://arxiv.org/abs/2611.03590v1
• Date: Mon, 02 Nov 2026 18:34:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:46:14.115668
• Title: A Scaling Theory of Multi-Epoch Pretraining: Late-Time Overfitting and Ensembling
• Title（参考訳）: マルチエポックプレトレーニングのスケーリング理論--過度なオーバーフィッティングと組み立て
• Abstract要約: 本研究では,トレーニングデータの固定時における訓練エポック数とアンサンブルサイズが共形一般化に及ぼす影響について検討した。 FineWebでの言語モデル実験では、ロジット平均化は遅延トレーニングの劣化を減少させる。 固定データと個々のモデルサイズにおける計算割当法則を導出する。
• 参考スコア（独自算出の注目度）: 24.037388275204048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the near future language model pretraining will become bound by total data rather than total compute. Such a regime requires revisiting scaling laws and scaling law theory. Motivated by prior works that have found utility in ensembling, we study how the number of training epochs and ensemble size jointly shape generalization when training data are fixed. In language-model experiments on FineWeb, logit averaging reduces late-training deterioration, delays optimal stopping, and can outperform wider or deeper single models at matched parameter-token budgets over a common training horizon. To analyze this interaction between data reuse and ensembling, we derive a dynamical mean-field theory (DMFT) for multi-epoch stochastic gradient descent in power-law random-feature ensembles, tracking error correlations across epochs and models. Ensembling reduces the prediction variance responsible for late-time growth in expected test error, changing the optimal stopping time. We use these stopping times to derive compute-allocation laws at fixed data and individual model sizes. Under this allocation, ensemble size grows with compute at least as fast as training time per member, while excess test loss above the limiting loss decreases as a power of compute.
• Abstract（参考訳）: 近い将来、事前学習は総計算ではなく総データによって束縛されるようになる。 このような体制は、スケーリング法則の再検討とスケーリング法理論を必要とする。 アンサンブルにおける有用性を見出した先行研究により,トレーニングデータの固定時の訓練エポック数とアンサンブルサイズが共形一般化に及ぼす影響について検討した。 FineWeb上での言語モデル実験では、ロジット平均化は遅延トレーニングの劣化を低減し、最適停止を遅らせ、共通トレーニング地平線上で一致したパラメータトーケン予算でより広いまたはより深いシングルモデルを上回ることができる。 データ再利用とアンサンブルの相互作用を分析するため、パワーローランダムアンサンブルにおけるマルチエポック確率勾配勾配の動的平均場理論(DMFT)を導出し、エポックとモデル間の誤差相関を追跡する。 組み立ては、予想されるテストエラーの遅延時間成長の原因となる予測のばらつきを低減し、最適な停止時間を変更します。 これらの停止時間を用いて、固定データと個々のモデルサイズにおける計算配置法則を導出する。 このアロケーションの下では、アンサンブルサイズは、メンバ毎のトレーニング時間と同じくらいの速さで計算とともに増大するが、計算のパワーとして制限損失を超える過剰なテスト損失は減少する。

関連論文リスト

• Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws [41.26396818761427]
  正規化とスケーリングという2つの軸に沿ったデータ制約付き事前学習について検討した。 モデルサイズとデータサイズを結合して、繰り返しデータの下でのインタラクションをキャプチャするスケーリング法則であるSoftQを提案する。
  論文  参考訳（メタデータ） (2026-06-05T04:10:09Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。