論文の概要: Towards joint scaling laws with optimal batch size schedules

• arxiv url: http://arxiv.org/abs/2607.27731v1
• Date: Thu, 30 Jul 2026 06:14:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.420477
• Title: Towards joint scaling laws with optimal batch size schedules
• Title（参考訳）: 最適バッチサイズスケジュール付き共同スケーリング法則の実現に向けて
• Abstract要約: 現代のディープラーニングは、トレーニングを通じてバッチサイズを静的に保ち、トレーニングのダイナミクスに対する学習率とバッチサイズの共同効果を見越す。 本稿では,凸最適化のレンズによる深層学習のダイナミクスを考察し,両スケジュールによる損失の同時評価を導出する。 この特徴付けにより、任意の所定の学習率スケジュールに対して、クローズドフォームの最適なバッチサイズスケジュールが得られ、さらに静的バッチサイズベースラインを一貫して上回る共同スケーリング法則がもたらされる。
• 参考スコア（独自算出の注目度）: 22.996072615062015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning typically keeps the batch size static throughout training, thus overlooking the joint effect of learning rate and batch size on the training dynamics. In this paper, we study the deep learning dynamics through the lens of convex optimization and derive a joint characterization of loss in terms of both schedules, applicable to general optimizers and model architectures. This characterization yields a closed-form optimal batch size schedule for any prescribed learning rate schedule, and further leads to joint scaling laws that consistently outperform static batch size baselines, highlighting the significance of dynamic batch size schedule in large language model training.
• Abstract（参考訳）: 現代のディープラーニングは、トレーニングを通じてバッチサイズを静的に保ち、トレーニングのダイナミクスに対する学習率とバッチサイズの共同効果を見越す。 本稿では,凸最適化のレンズによる深層学習のダイナミクスを考察し,一般最適化やモデルアーキテクチャに適用可能な両スケジュールによる損失の共振特性を導出する。 この特徴付けにより、任意の所定の学習率スケジュールに対して、クローズドフォームの最適なバッチサイズスケジュールが得られ、さらに、大きな言語モデルトレーニングにおける動的バッチサイズスケジュールの重要性を強調しながら、静的バッチサイズベースラインを一貫して上回る共同スケーリング法則が導かれる。

関連論文リスト

• On the Role of Batch Size in Stochastic Conditional Gradient Methods [51.97510367368799]
  条件勾配法におけるバッチサイズの役割を,$-KL条件下で検討した。 バッチサイズの増加は、当初は最適化の精度を向上するが、重要なしきい値を超えると、固定トークン予算の下でのメリットと飽和度は、パフォーマンスを劣化させる可能性がある。
  論文  参考訳（メタデータ） (2026-03-22T12:23:41Z)
• Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
  線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。 近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。 本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-16T22:21:27Z)
• Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging [70.05077723711618]
  本研究では, 1-32xChinchillaスケールで学習した言語モデルが時間とともに減衰し, 問題の発生源とキャパシティ条件によって減衰速度が決定されることを示した。 以上の結果から,重み付き平均化と地平線なしのステップサイズを組み合わせることで,大規模言語モデルの事前学習におけるコサイン学習率のスケジュールに代わる実用的で効果的な選択肢が得られることが示唆された。
  論文  参考訳（メタデータ） (2026-02-03T16:24:05Z)
• How to Set the Batch Size for Large-Scale Pre-training? [46.58311647781476]
  本稿では,Warmup-Stable-Decay(WSD)学習率スケジューラに適した改良E(S)関係を提案する。 理論的には, 目標損失を達成するのに必要な最小バッチサイズしきい値であるB_minと, 合計トークンを最小化してデータ効率を最大化する最適バッチサイズであるB_optの2つの基本的特性を明らかにしている。
  論文  参考訳（メタデータ） (2026-01-08T15:43:31Z)
• Optimal Growth Schedules for Batch Size and Learning Rate in SGD that Reduce SFO Complexity [0.6906005491572401]
  計算勾配法におけるバッチサイズと学習速度のスケジューリングは効率を低下させ、収束を損なう。 理論的には,SFOの複雑性を低減させるバッチサイズと学習率の最適な成長スケジュールを導出した。 本結果は,ディープラーニングにおける大規模バッチ学習をスケーラブルかつ効率的に行うための理論的知見と実践的ガイドラインの両方を提供する。
  論文  参考訳（メタデータ） (2025-08-07T11:52:25Z)
• Through the River: Understanding the Benefit of Schedule-Free Methods for Language Model Training [35.81422928960327]
  本研究では, 損失景観の「川」構造を, 崩壊相や補助平均化を伴わず, 効果的にナビゲート可能であることを示す。 本研究では,大きなバッチサイズにおいて,運動量の向上と性能向上を図ったSFの改良版を提案する。
  論文  参考訳（メタデータ） (2025-07-14T00:54:48Z)
• A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules [67.87680482844884]
  本稿では,大規模言語モデルの事前学習損失が,学習率の異なるスケジュール下でどのように進展するかを示す経験則を提案する。 提案法は,学習率の総和に基づく電力法則と,学習率減衰による損失低減効果を考慮した電力法とを併用した多大電力法である。
  論文  参考訳（メタデータ） (2025-03-17T04:36:45Z)
• The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training [55.233765889424035]
  本研究では,大規模モデル学習における学習速度のスケジュールが,非滑らかな最適化理論に縛られた凸と驚くほど類似していることを示す。 最適学習率で継続トレーニングのスケジュールを延長し、かつ、最適学習率をスケジュール間で転送することにより、124Mと210MのLlama型モデルをトレーニングするための顕著な改善を実現した。
  論文  参考訳（メタデータ） (2025-01-31T08:55:56Z)
• Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism [17.006352664497122]
  PyTorch Fully Shard Data Parallel を用いた実用的な実装を開発した。 提案手法が一定のバッチサイズより優れていることを示す。 また、このような適応型バッチサイズスケジュールについても理論的に保証する。
  論文  参考訳（メタデータ） (2024-12-30T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。