論文の概要: What Is a Repeated Token Worth? The Scaling Geometry of Multi-Epoch Pretraining

• arxiv url: http://arxiv.org/abs/2610.05591v1
• Date: Sun, 04 Oct 2026 22:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 12:41:55.643877
• Title: What Is a Repeated Token Worth? The Scaling Geometry of Multi-Epoch Pretraining
• Title（参考訳）: 繰り返しトーケン・ワーズとは何か : マルチエポックプレトレーニングのスケーリング幾何学
• Abstract要約: 私たちは、2つの参照に対して繰り返しトークンを価格付けします。同じデータに1つのエポックがあり、その値が与えられます。 ユニークなデータを固定することにより、予測された計算最適実行はモデルのサイズとエポックを増大させ、致命的なエポック数に近い損失が改善する。 これらの結果は、計算よりもむしろ独自のデータがバインディング制約である場合、事前学習のための実証的なガイドを提供する。
• 参考スコア（独自算出の注目度）: 30.545271164943728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As pretraining increasingly repeats data, every run faces three questions: how many epochs to take, how that number should change with model size, and whether anything besides the epoch count matters. We answer them by pricing a repeated token against two references: one epoch on the same data, which gives its value, and fresh data at equal compute, which gives its cost. Against fresh data, the cost of repetition follows a single variable, the number of extra epochs divided by the unique tokens per parameter. Against the same data, a second epoch is worth nearly as much as a fresh one, and repeated tokens fall to half the value of fresh ones after a critical epoch count that grows with the training budget per parameter but hardly with model size. With unique data fixed, the predicted compute-optimal run grows model size and epochs together until loss stops improving, near the critical epoch count. The same variable accounts for the direction of size trends that appear to conflict: larger models tolerate fewer epochs when the corpus is fixed, from about 15 at 127M to 4 at 2B parameters, but not when unique data grow with the model. Counts alone do not determine loss: at identical counts, replaying shards consecutively raises loss by up to 0.46~bits per byte, concentrating repeats on fewer samples also raises it, lower-entropy sources degrade faster with repetition, and re-tokenizing repeats helps only under heavy repetition. These results offer an empirical guide to pretraining when unique data, rather than compute, are the binding constraint.
• Abstract（参考訳）: データの事前トレーニングが進むにつれて、各ランは、何エポックを取るか、その数はモデルのサイズによってどのように変化するか、そしてエポック以外の何かが重要かどうかという3つの質問に直面します。 2つの参照に対して、同じデータに1つのエポック、その値を与える新しいデータと、同じ計算で同じコストを与える新しいデータに対して、繰り返しトークンを価格設定することで答えます。 新鮮なデータに対して、反復のコストは1つの変数、パラメータごとにユニークなトークンで割られた余分なエポックの数に従う。 同じデータに対して、第2のエポックは新鮮なものと同じくらいの価値があり、繰り返しトークンはパラメータごとのトレーニング予算で成長するが、モデルサイズではほとんど成長しない重要なエポック数の後、新鮮なものの価値の半分に落ちます。 ユニークなデータを固定することで、予測された計算最適実行はモデルのサイズとエポックを増大させ、致命的なエポック数に近い損失が改善されなくなるまでエポック化する。 より大きなモデルはコーパスが固定されたときのエポックを許容し、およそ117Mで15から2Bパラメータで4まで許容する。 カウントだけでは損失は決定できない:同じカウントでシャードを再生すると、最大0.46〜bits/バイトの損失が連続的に増加し、より少ないサンプルに繰り返しを集中させることで損失が増加し、低いエントロピー源は繰り返しでより早く劣化し、繰り返しの再起動は重い繰り返しでのみ役立つ。 これらの結果は、計算よりもむしろ独自のデータがバインディング制約である場合、事前学習のための実証的なガイドを提供する。

関連論文リスト

• Selecting Repetition Counts Across Model Scales in Data-Constrained Pretraining [3.1130326545472067]
  本研究では, 有限目標コーパスと一般データとを混合した事前学習の効果について検討した。 16から8までの繰り返しを減らすことで、トレーニングトークンを減らしながら損失を改善することが分かりました。 我々は、より大規模な評価のために、いくつかの小さなモデルからの損失曲線を用いて、有望な繰り返し回数の短いリストを保持する。
  論文  参考訳（メタデータ） (2026-10-04T11:16:04Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Scaling Data-Constrained Language Models [133.2083255645999]
  データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。