論文の概要: Scaling Domain Data Repetition in LLM Pretraining

• arxiv url: http://arxiv.org/abs/2608.14071v1
• Date: Fri, 14 Aug 2026 08:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.326584
• Title: Scaling Domain Data Repetition in LLM Pretraining
• Title（参考訳）: LLMプレトレーニングにおけるドメインデータのスケーリング
• Abstract要約: 高品質なドメインデータは一般的なWebデータよりもスケールがはるかに難しい。 モデルサイズとトレーニングトーケン予算が増加するにつれて、トレーニングミックスの比率は減少する傾向にある。 より小さなプロキシモデル(mathrmTPP)で調整された繰り返し回数は、より大きなモデルに対して実用的な見積もりを提供することができる。
• 参考スコア（独自算出の注目度）: 18.481235801370826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models scale, their training-token budgets must also increase to maintain an appropriate tokens-per-parameter ratio (\(\mathrm{TPP}\)). However, high-quality domain data is much harder to scale than general web data. As model size and the training-token budget increase, its fraction in the training mixture tends to decrease. Repeating the available high-quality data provides an effective way to counteract this dilution, but excessive repetition may lead to overfitting. We study this trade-off under practical LLM scaling, where the training-token budget grows proportionally with model size. For a fixed domain, we first find that, surprisingly at a fixed \(\mathrm{TPP}\), the optimal repetition count mildly increases with model size. Across different domains, we find that the optimal repetition count is strongly negatively correlated with the final validation loss of a domain: domains with lower loss can generally benefit from more repetitions. In contrast, the amount of unique domain data is only weakly related to the optimal repetition count. These findings suggest that repetition counts tuned on smaller proxy models with the same \(\mathrm{TPP}\) can provide a practical estimate for larger models.
• Abstract（参考訳）: 大きな言語モデルがスケールするにつれて、トレーニング対象の予算も増加して、適切なトークン/パラメータ比(\(\mathrm{TPP}\))を維持する必要がある。 しかし、高品質なドメインデータは一般的なWebデータよりもスケールがはるかに難しい。 モデルサイズとトレーニングトーケン予算が増加するにつれて、トレーニングミックスの比率は減少する傾向にある。 利用可能な高品質なデータを繰り返すことは、この希釈に対抗する効果的な方法であるが、過剰な繰り返しは過度に適合する可能性がある。 我々は,このトレードオフを,モデルサイズに比例してトレーニング・ツー・ケント予算が増大する,実用的LLMスケーリングの下で検討する。 固定領域に対して、予想されるような、固定された \(\mathrm{TPP}\) において、最適反復数はモデルサイズとともに緩やかに増加する。 異なるドメイン間で、最適な繰り返し回数は、ドメインの最終検証損失と強く負の相関があることが分かり、損失の少ないドメインは、一般的により繰り返しの恩恵を受ける。 対照的に、ユニークなドメインデータの量は、最適反復数と弱い関係しか持たない。 これらの結果から, より小型のプロキシモデルに対して同じ \(\mathrm{TPP}\) の繰り返し回数を調整すれば, より大きなモデルに対して実用的な推定値が得られることが示唆された。

関連論文リスト

• Internal Data Repetition Destroys Language Models [28.65775073109903]
  言語モデルは、高品質なトレーニングデータを使い果たし、積極的に重複したコーパスでさえ、ある程度の繰り返しを保っている。 我々は,コンピュータ等価利得とコンピュータ等価損失を報告するために,適合した非繰り返しスケーリング法を用いて,チンチラ時代の繰り返しを再考する。
  論文  参考訳（メタデータ） (2026-06-23T16:02:40Z)
• Explaining Data Mixing Scaling Laws [2.1378946778058796]
  データミキシングの基礎となる力学を説明する統一的なフレームワークを提案する。 異なるデータ混合物で訓練されたモデルのドメイン損失を管理する2つの重要な要因を同定する。 我々のモデルは、大規模で目に見えないスケールで非常に効果的な混合物を予測し、スケールをまたいだ外挿に成功している。
  論文  参考訳（メタデータ） (2026-06-06T13:31:38Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Scaling Laws for Mixture Pretraining Under Data Constraints [20.29616657791023]
  一般的な戦略は、少ないが価値のあるターゲットデータと豊富な汎用データを組み合わせることである。 このトレードオフを2000以上の言語モデルトレーニングランで研究する。 繰り返しは、ターゲットドメインのパフォーマンスの中心的な要因であることがわかった。
  論文  参考訳（メタデータ） (2026-05-12T20:22:45Z)
• The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data [55.87500250831868]
  本稿では,トークンの総数に占めるプレトレーニングから始めて,小さなドメインデータセットを繰り返す,SPT(Special Pretraining)というシンプルな戦略について検討する。 我々の実験では、SPTは与えられたドメインの性能に到達するのに必要な事前学習トークンを最大1.75倍まで削減する。 ファインタニングは、ドメイン適応への最も安い道のように見えるが、事前訓練中に特別なドメインデータを導入することは、その実用性を広げる。
  論文  参考訳（メタデータ） (2026-03-17T06:55:53Z)
• Scaling Laws for Optimal Data Mixtures [36.161727115217964]
  スケーリング法則を用いて、任意の対象領域に対して最適なデータ混合を決定するための体系的手法を提案する。 我々は,これらのスケーリング法則の普遍性を,その予測力を3つの異なる大規模設定で示すことによって検証する。
  論文  参考訳（メタデータ） (2025-07-12T21:16:08Z)
• The interplay between domain specialization and model size [8.653321928148547]
  計算制約シナリオ下での継続事前学習におけるドメインサイズとモデルサイズ間の相互作用について検討する。 我々の目標は、このシナリオに最適なトレーニング体制を特定し、異なるモデルサイズとドメインにまたがって一般化可能な、この相互作用のパターンを検出することです。
  論文  参考訳（メタデータ） (2025-01-03T19:28:53Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• Scaling Data-Constrained Language Models [133.2083255645999]
  データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:18:55Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining [148.90031913522648]
  ミニマックス最適化(DoReMi)を用いたドメイン再重み付けを提案する。 DoReMiはまず、ドメイン上のグループ分散ロバスト最適化(Group DRO)を使用して小さなプロキシモデルをトレーニングし、ドメイン重みを生成する。 次に、これらのドメインウェイトでデータセットを再サンプリングし、より大きなフルサイズのモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-05-17T17:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。