論文の概要: Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
- arxiv url: http://arxiv.org/abs/2609.02728v1
- Date: Wed, 02 Sep 2026 15:39:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.448549
- Title: Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
- Title（参考訳）: 大規模バッチトレーニングにおけるMomentum: Polyakがクリティカルバッチサイズを拡大し、Nesterovがデータ効率を向上
- Abstract要約: パワーローカーネル回帰をトラクタブルセッティングとして用い, ワンパス方式の大規模バッチトレーニングをいつ, どのように改善するかを検討した。
まず,安定トレーニングにおける最大の学習率として定義される臨界学習率を用いて,リスクの安定性を特徴付ける。
そして、固定データ予算の下で、許容できる学習率と運動量要素に対する最終段階のリスクを最小化する。
- 参考スコア（独自算出の注目度）: 15.874761961752442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study when and how momentum improves large-batch training in the one-pass regime, using power-law kernel regression as a tractable setting. We first characterize risk stability through the critical learning rate, defined as the largest learning rate for stable training, and obtain $η_{\mathrm{SGD}}^{\mathrm{crit}}\eqsim 1$, $η_{\mathrm{Polyak}}^{\mathrm{crit}}\eqsim \min\{1,B(1-ρ)\}$, and $η_{\mathrm{Nesterov}}^{\mathrm{crit}}\eqsim \min\{1,B^β(1-ρ)\}$, where $B$ is the batch size, $ρ$ is the momentum factor, and $β>1$ is the capacity exponent. Within this admissible region, we derive scaling laws for the full risk dynamics, capturing the progression from an early transient, through power-law decay, to a noise floor. We then minimize the final-step risk over the admissible learning rates and momentum factors under a fixed data budget, yielding a three-regime batch-size phase diagram that reveals how the role of momentum changes with batch size. Notably, Polyak enlarges the critical batch size, the largest batch size preserving the best small-batch data-scaling exponent, thereby enabling greater parallelism without sacrificing data efficiency. In contrast, Nesterov achieves better data efficiency in the large-batch regime because its look-ahead mechanism suppresses noise accumulation. Numerical experiments validate the predicted stability boundaries, risk dynamics, and batch-size phase diagram.
- Abstract（参考訳）: パワーローカーネル回帰をトラクタブルセッティングとして用い, ワンパス方式の大規模バッチトレーニングをいつ, どのように改善するかを検討した。
まず、安定トレーニングの最大の学習率として定義される臨界学習率によってリスク安定性を特徴づけ、$η_{\mathrm{SGD}}^{\mathrm{crit}}\eqsim 1$, $η_{\mathrm{Polyak}}^{\mathrm{crit}}\eqsim \min\{1,B(1-ρ)\}$, $η_{\mathrm{Nesterov}}^{\mathrm{crit}}\eqsim \min\{1,B^β(1-ρ)\}$, $B$はバッチサイズ、$ρ$は運動量因子、$β>1$はキャパシティ指数である。
この許容領域内では、全リスクダイナミクスのスケーリング法則が導出され、初期の過渡期からパワー・ロー崩壊を経てノイズフロアへと進行する。
そして、固定データ予算の下で、許容できる学習率と運動量要因に対する最終段階のリスクを最小化し、バッチサイズで運動量の役割がどのように変化するかを明らかにする3段階のバッチサイズフェーズ図を作成します。
特に、Polyakは、最高の小さなバッチデータスケーリング指数を保存する最大のバッチサイズであるクリティカルバッチサイズを拡大し、データ効率を犠牲にすることなく、より大きな並列化を可能にする。
対照的にNesterovは、そのルックアヘッド機構がノイズの蓄積を抑制するため、大規模バッチ方式でより良いデータ効率を実現する。
数値実験では、予測された安定性境界、リスクダイナミクス、バッチサイズ位相図が検証される。
関連論文リスト
- SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws [55.81298869922287]
多数のクラスを持つ高次元ガウス混合モデルにおける多クラスロジスティック回帰のトレーニングダイナミクスについて検討する。
我々は,勾配に基づく最適化の下で,クロスエントロピーリスクを規定する厳密なスケーリング法則を確立する。
論文 参考訳（メタデータ） (2026-09-07T18:30:09Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。
単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。
また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
論文 参考訳（メタデータ） (2026-03-30T17:51:47Z) - On the Role of Batch Size in Stochastic Conditional Gradient Methods [51.97510367368799]
条件勾配法におけるバッチサイズの役割を,$-KL条件下で検討した。
バッチサイズの増加は、当初は最適化の精度を向上するが、重要なしきい値を超えると、固定トークン予算の下でのメリットと飽和度は、パフォーマンスを劣化させる可能性がある。
論文 参考訳（メタデータ） (2026-03-22T12:23:41Z) - $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。
本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。
V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2026-03-11T14:57:41Z) - Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs [19.079556051442168]
強化学習(Reinforcement Learning, RL)は、推論タスクにおける大規模言語モデルの改善に広く用いられている。
しかし、REINFORCE や GRPO のような広く採用されている批判のない政策段階的手法では、高い非同期性によって政策段階的推定器は明らかにノイズを生じさせる。
本稿では,REINFORCE/GRPOスタイルのアルゴリズムの安定化手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T18:40:51Z) - SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning [14.801991185971465]
本研究では,中段幅拡張のための新しいフレームワークであるSPARKINGを提案する。
SPARKlingは、スクラッチからトレーニングを一貫して上回り、トレーニングコストを最大35%削減する。
論文 参考訳（メタデータ） (2026-02-02T18:52:52Z) - ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。
Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。
GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
論文 参考訳（メタデータ） (2025-05-26T12:23:26Z) - Deep Neural Network Initialization with Sparsity Inducing Activations [5.437298646956505]
広幅ガウス過程の限界を用いて、隠れ出力の空間性を引き起こす非線形活性化の挙動を解析する。
未報告のトレーニング不安定性は、隠蔽層スパリフィケーションの最も自然な候補の2つとして証明されている。
この不安定性は、関連するガウス過程の分散写像の形状によって規定されたレベルにおいて、非線形活性化度をクリップすることで克服されることを示す。
論文 参考訳（メタデータ） (2024-02-25T20:11:40Z) - Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of
Deep Learning Optimizer using Hyperparameters Close to One [0.0]
学習速度が小さいこと,1に近いハイパーパラメータ,大きなバッチサイズが,損失関数を最小化するディープニューラルネットワークのモデルパラメータを見つけることができることを示す。
その結果,Adamは一定の学習率と1に近いハイパーパラメータを用いており,SFOの複雑性を最小化する臨界バッチサイズはモメンタムや勾配勾配よりも早く収束することがわかった。
論文 参考訳（メタデータ） (2022-08-21T06:11:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。