論文の概要: Selecting Repetition Counts Across Model Scales in Data-Constrained Pretraining
- arxiv url: http://arxiv.org/abs/2610.05126v1
- Date: Sun, 04 Oct 2026 11:16:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 23:12:41.152482
- Title: Selecting Repetition Counts Across Model Scales in Data-Constrained Pretraining
- Title（参考訳）: データ制約付き事前学習におけるモデルスケール間の繰り返し数の選択
- Abstract要約: 本研究では, 有限目標コーパスと一般データとを混合した事前学習の効果について検討した。
16から8までの繰り返しを減らすことで、トレーニングトークンを減らしながら損失を改善することが分かりました。
我々は、より大規模な評価のために、いくつかの小さなモデルからの損失曲線を用いて、有望な繰り返し回数の短いリストを保持する。
- 参考スコア（独自算出の注目度）: 3.1130326545472067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The repetition count that works best for a small language model may not remain best at a larger scale. We study this effect in pretraining with a finite target corpus mixed with generic data at a fixed target fraction. On Wikipedia-derived data and Proof-Pile-2, the ranking of measured repetition counts changes with model size, and a 520M Proof-Pile-2 experiment confirms that reducing repetition from sixteen to eight improves loss while using fewer training tokens. We use loss curves from several smaller models to retain a short list of promising repetition counts for evaluation at a larger scale. On PubMed and Caselaw, candidate sets fixed before target-model training retain the lowest-loss measured count on the original evaluation grids at both 200M and 520M. This supports candidate retention as a practical alternative to exact point prediction. We also relate the pruning regression to an empirical scaling model with two opposing repetition-dependent loss terms. A first-order expansion in log model size yields the linear form used by the selection rule, providing a scaling-based interpretation of the candidate-selection procedure.
- Abstract（参考訳）: 小さな言語モデルに最適な繰り返しカウントは、大きなスケールでは最善を保たないかもしれない。
本研究では, 有限目標コーパスと一般データとを固定目標分数で混合したプレトレーニングにおけるこの効果について検討した。
ウィキペディア由来のデータとProof-Pile-2では、測定された繰り返しのランクはモデルサイズによる変化をカウントし、520M Proof-Pile-2実験では、16から8までの繰り返しを減らすことで、少ないトレーニングトークンを使用しながら損失を改善することが確認されている。
我々は、より大規模な評価のために、いくつかの小さなモデルからの損失曲線を用いて、有望な繰り返し回数の短いリストを保持する。
PubMed と Caselaw では、ターゲットモデルトレーニングの前に固定された候補セットは、2M と 520M の両方で元の評価グリッド上で最低余分な測定値を保持する。
これは、正確な点予測の実用的な代替として、候補の保持をサポートする。
また,2つの繰り返し依存損失項を持つ経験的スケーリングモデルとプルーニング回帰を関連付ける。
ログモデルサイズの1次展開は、選択規則で使用される線形形式をもたらし、候補選択手順のスケーリングベースの解釈を提供する。
関連論文リスト
- Internal Data Repetition Destroys Language Models [28.65775073109903]
言語モデルは、高品質なトレーニングデータを使い果たし、積極的に重複したコーパスでさえ、ある程度の繰り返しを保っている。
我々は,コンピュータ等価利得とコンピュータ等価損失を報告するために,適合した非繰り返しスケーリング法を用いて,チンチラ時代の繰り返しを再考する。
論文 参考訳（メタデータ） (2026-06-23T16:02:40Z) - Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。
MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文 参考訳（メタデータ） (2026-06-01T21:49:54Z) - CAIRO: Decoupling Order from Scale in Regression [13.755937210012883]
回帰を2つの異なる段階に分離する枠組みを提案する。
第1段階では,スケール不変ランキングの損失を最小限に抑えることで,スコアリング関数を学習する。
第2に,等速回帰による目標スケールの復元を行う。
論文 参考訳（メタデータ） (2026-02-16T03:50:05Z) - Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。
その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。
事前学習損失と下流評価結果の完全なセットを公表する。
論文 参考訳（メタデータ） (2025-12-09T18:33:48Z) - Scaling Laws for Precision [73.24325358259753]
トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。
推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。
トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
論文 参考訳（メタデータ） (2024-11-07T00:10:10Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳（メタデータ） (2022-12-19T19:16:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。