論文の概要: Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

• arxiv url: http://arxiv.org/abs/2610.15965v1
• Date: Sun, 11 Oct 2026 22:42:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 08:21:04.101589
• Title: Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
• Title（参考訳）: 繰り返しデータ事前トレーニングのスケールアップ - バッチサイズ,正規化,GPU時間のトレードオフ
• Abstract要約: 計算量が豊富だが、ユニークなトレーニングデータが有限であり、同じデータ上で繰り返しトレーニングする必要がある場合、事前学習について検討する。 まず、無限完全事前学習を再考し、そのフロンティアが以前に固定されたり、単独で研究されたりした選択に批判的に依存することを示す。
• 参考スコア（独自算出の注目度）: 23.88413287449122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study pretraining when compute is abundant but unique training data are finite, requiring repeated training on the same data. We first revisit infinite-compute pretraining (Kim et al. 2026) and show that its frontier depends critically on choices previously fixed or studied only in isolation. In particular, optimizing batch size together with epoch counts reveals a U-shaped relationship between validation loss and batch size, favoring smaller batches than typical pretraining, likely because small-batch gradient noise provides implicit regularization. We further find that training recipes, previously optimized under a single-pass assumption, can be tuned, e.g., repacking documents into new sequences every epoch, weight tying, and positive embedding weight decay. We then relax the infinite-compute assumption. In particular, smaller-than-typical batch sizes can require prohibitively long sequential training, motivating to treat GPUs and time as separate resources. Tighter deadlines favor larger batches, and latency-oriented parallelism can trade additional GPUs for shorter training. Nevertheless, even under a fixed time budget, a smaller batch with fewer GPUs can achieve lower validation loss than a larger batch with more GPUs, challenging the common practice of increasing data parallelism to maximize GPU utilization under a deadline. Together, our results identify underexplored factors in repeated-data training and provide concrete guidance on how training recipes and resource allocation should change from single-pass pretraining.
• Abstract（参考訳）: 計算量が豊富だが、ユニークなトレーニングデータが有限であり、同じデータ上で繰り返しトレーニングする必要がある場合、事前学習について検討する。 まず、無限完全事前学習(Kim et al 2026)を再検討し、そのフロンティアが以前固定されたか、単独でのみ研究された選択に批判的に依存することを示す。 特に、バッチサイズをエポック数とともに最適化すると、検証損失とバッチサイズの間のU字型の関係が明らかになる。 さらに、従来は単一パスの仮定で最適化されていたトレーニングレシピを、例えば、文書をエポック、重み付け、正の埋め込み重み劣化ごとに新しいシーケンスに再パッケージするなど、チューニングすることができる。 その後、無限コンパクトな仮定を緩和する。 特に、最小限のバッチサイズでは、GPUと時間を別々のリソースとして扱う動機付けとして、極めて長いシーケンシャルなトレーニングを必要とします。 レイテンシ指向の並列処理は、トレーニングを短縮するために追加のGPUを交換することができる。 それでも、固定時間予算下であっても、GPUが少ない小さなバッチでは、より多くのGPUを持つより大きなバッチよりも検証損失が小さくなる可能性があるため、期限下でGPU使用を最大化するためにデータ並列性を高めるという一般的なプラクティスに挑戦する。 本研究は, 繰り返しデータトレーニングにおける未探索要因を特定し, トレーニングレシピや資源配分が, シングルパス事前学習からどのように変化すべきかについて具体的なガイダンスを提供する。

関連論文リスト

• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining [6.5664347332837]
  言語モデルの事前訓練は、データ制約付き、計算能力のある体制へと移行しつつある。 トークンレベルのノイズ,シーケンス順列,ターゲットオフセット予測という,AR事前学習のための拡張の3つのカテゴリを紹介した。 個々の強化がオーバーフィッティングを遅らせ、ベースラインに対する検証損失が低下していることが判明した。
  論文  参考訳（メタデータ） (2026-06-15T05:48:57Z)
• Performance of Small Language Model Pretraining on FABRIC: An Empirical Study [2.2070336216767763]
  本研究では,学習者が無償で試用できる実験台上での小型LLMの事前学習技術の性能について検討する。 我々は,GPT-2ミディアムモデルと大規模モデルを使用し,オープンソースパッケージであるAlpaとRayを用いて事前訓練を行った。 我々は,GPUが地理的に分散された場合,演算子内並列性と演算子間並列性を一括最適化したAlpaの実行計画が,常に最善を尽くしたことを観察した。
  論文  参考訳（メタデータ） (2026-02-02T17:58:47Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。