論文の概要: Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

• arxiv url: http://arxiv.org/abs/2606.06888v2
• Date: Tue, 09 Jun 2026 06:01:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 13:21:50.702691
• Title: Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws
• Title（参考訳）: データ制約付き言語モデルの事前学習:正規化とスケーリング法則の改善
• Abstract要約: 正規化とスケーリングという2つの軸に沿ったデータ制約付き事前学習について検討した。 モデルサイズとデータサイズを結合して、繰り返しデータの下でのインタラクションをキャプチャするスケーリング法則であるSoftQを提案する。
• 参考スコア（独自算出の注目度）: 41.26396818761427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical scaling laws for language model pretraining balance model size against training dataset size under a fixed compute budget, assuming abundant data and a single pass over the corpus. As training compute grows faster than the supply of natural language data, pretraining is likely to enter a data-constrained, compute-rich regime where models train for multiple epochs over a finite dataset. We study data-constrained pretraining along two axes, regularization and scaling. For regularization, we study masked-input regularization (MIR), an auxiliary next-token prediction loss on randomly masked inputs. MIR tests whether the random masking central to diffusion language models can benefit autoregressive pretraining without architectural changes or inference overhead. Across 72M to 1.4B parameter models, we find that MIR added on top of strong weight decay improves validation loss over autoregressive strong-weight-decay-only models, with downstream gains at 1.4B. For scaling, we propose SoftQ, a scaling law that couples model size and data size to capture their interaction under repeated data. Classical alternatives such as the Chinchilla law use an additive form that decouples these terms, making them misspecified in the data-constrained regime. We find that SoftQ fits data-constrained experiments substantially better than these alternatives, and estimates MIR's gains as equivalent to roughly 1.3 times as much unique training data. We release our code at https://github.com/yixinw-lab/dc_pretrain.
• Abstract（参考訳）: 言語モデルのための古典的なスケーリング法則は、固定された計算予算の下でトレーニングデータセットサイズに対してバランスモデルサイズを事前訓練し、豊富なデータとコーパスを1回のパスと仮定する。 トレーニング計算が自然言語データの供給よりも速く成長するにつれて、事前学習は、有限データセット上で複数のエポックをトレーニングするデータ制約付き計算リッチな体制に入る可能性が高い。 正規化とスケーリングという2つの軸に沿ったデータ制約付き事前学習について検討した。 正規化のためのマスク入力正規化(MIR)は、ランダムなマスク入力に対する補助的な次トーケン予測損失である。 MIRは、拡散言語モデルの中心となるランダムマスキングが、アーキテクチャの変更や推論オーバーヘッドなしに自己回帰事前学習の恩恵を受けるかどうかをテストする。 72M から 1.4B のパラメータモデルにおいて,MIR が強重崩壊の上に付加されたことにより,自己回帰型強重デカイモデルに対する検証損失が 1.4B のダウンストリームゲインで向上することがわかった。 スケーリングには、モデルのサイズとデータサイズを結合して、繰り返しデータの下でのインタラクションをキャプチャするスケーリング法則であるSoftQを提案する。 チンチラ法のような古典的な代替法は、これらの用語を分離する付加形式を用いており、データに制約された体制では不明確になっている。 We found that SoftQ fits data-constrained experiment than these alternatives and estimates MIR's gains as equivalent to approximately 1.3 times of unique training data。 コードをhttps://github.com/yixinw-lab/dc_pretrain.comでリリースします。

関連論文リスト

• Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining [6.5664347332837]
  言語モデルの事前訓練は、データ制約付き、計算能力のある体制へと移行しつつある。 トークンレベルのノイズ,シーケンス順列,ターゲットオフセット予測という,AR事前学習のための拡張の3つのカテゴリを紹介した。 個々の強化がオーバーフィッティングを遅らせ、ベースラインに対する検証損失が低下していることが判明した。
  論文  参考訳（メタデータ） (2026-06-15T05:48:57Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Practical Scaling Laws: Converting Compute into Performance in a Data-Constrained World [4.6607470395685215]
  チンチラの$L = E + A/N+ B/D$は、主要なスケーリング法則形式であるが、非インフォームベースラインで飽和するのではなく、ユニークなデータが縮小するにつれて分散する。 本稿では,損失を低容量化,減量化,過度化に分解する閉形式拡張を提案する。 視覚、科学ML、言語ドメインの4つのマルチエポックな実験で検証する。
  論文  参考訳（メタデータ） (2026-05-09T22:07:01Z)
• Prescriptive Scaling Laws for Data Constrained Training [21.261009598515066]
  トレーニング計算は、高品質なデータの可用性をますます上回っている。 チンチラスケーリング法は、すべてのトレーニングトークンがユニークであると仮定する。 我々のスケーリング法則は、定性的に新しい計算-最適割り当てアドバイスをもたらす。
  論文  参考訳（メタデータ） (2026-05-02T23:14:20Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• The interplay between domain specialization and model size [8.653321928148547]
  計算制約シナリオ下での継続事前学習におけるドメインサイズとモデルサイズ間の相互作用について検討する。 我々の目標は、このシナリオに最適なトレーニング体制を特定し、異なるモデルサイズとドメインにまたがって一般化可能な、この相互作用のパターンを検出することです。
  論文  参考訳（メタデータ） (2025-01-03T19:28:53Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Scaling Data-Constrained Language Models [133.2083255645999]
  データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:18:55Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。