論文の概要: Understanding Stability of Outer Nesterov Momentum on Stochastic Pseudo-Gradients

• arxiv url: http://arxiv.org/abs/2610.22623v1
• Date: Thu, 15 Oct 2026 20:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.66159
• Title: Understanding Stability of Outer Nesterov Momentum on Stochastic Pseudo-Gradients
• Title（参考訳）: 確率的擬似勾配における外ネステロフ運動の安定性の理解
• Abstract要約: 本研究では, 運動量, 局所ステップ数, 作業者平均値が, トレーニングダイナミクスをいかに制御するかを検討する。 独立労働者の擬似次数の平均化は、より大きな外運動量値を許容できる一方で、安定に必要な労働者の数は、局所的なステップの数とともに指数関数的に増加することが示される。
• 参考スコア（独自算出の注目度）: 15.677134594604661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large neural networks are commonly trained across many workers, and communication between them is a major cost. Workers therefore take several local optimization steps before sending their net parameter displacements, or pseudo-gradients, to an outer optimizer, which often applies Nesterov momentum. We study how the outer momentum, the number of local steps and the averaging over workers control the training dynamics, and in particular their stability. For random quadratics, we derive an exact mean-square stability criterion in any dimension, which reveals that the inner batch size determines whether increasing the number of local steps eventually stabilizes or destabilizes the outer iteration. Moreover, while averaging the pseudo-gradients of independent workers can make larger outer momentum values admissible, the number of workers required for stability can grow exponentially with the number of local steps. Finally, we show that the mean-square dynamics governing stability can be probed directly at intermediate neural-network checkpoints using shared-minibatch perturbations. We test our theoretical findings across networks, and measure their consequences for training loss.
• Abstract（参考訳）: 大規模なニューラルネットワークは、多くの労働者の間で一般的に訓練されており、それら間の通信は大きなコストである。 したがってワーカーは、パラメータのパラメータ変位(擬似階調)を外部オプティマイザに送信する前に、いくつかのローカルな最適化手順を踏む。 本研究では, 運動量, 局所ステップ数, 作業者の平均値が, トレーニングダイナミクス, 特にその安定性をどのように制御するかを検討する。 ランダム二乗法の場合、任意の次元における平均二乗安定性の正確な基準を導出し、内部のバッチサイズが局所的なステップ数の増加が最終的に外部反復を安定化または不安定化するか否かを判断することを明らかにする。 さらに、独立労働者の擬似次数の平均化は、より大きな外運動量値を許容できる一方で、安定性に必要な労働者の数は、局所的なステップの数とともに指数関数的に増加する。 最後に,共有ミニバッチ摂動を用いた中間神経ネットワークチェックポイントにおいて,平均二乗力学が直接探索可能であることを示す。 ネットワーク全体で理論的な結果を検証し、トレーニング損失に対する結果を測定する。

関連論文リスト

• Predictable GRPO: A Closed-Form Model of Training Dynamics [1.0537323885285492]
  我々はこれらの力学の第一原理還元次モデルを開発する。 グループサイズは、ノイズ温度として、先行順に入力される。 3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
  論文  参考訳（メタデータ） (2026-06-29T18:19:09Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Recovering Physical Dynamics from Discrete Observations via Intrinsic Differential Consistency [12.266189649117003]
  我々は地域の監督をグローバルな構造的制約に置き換える。 この特性からの偏差が2つの目的に作用する時間条件のセカント速度場を訓練する。 トレーニング正則化器として、時間スケールで一貫して構成されるフローに仮説空間を限定する。
  論文  参考訳（メタデータ） (2026-05-08T20:24:32Z)
• Zeroth-Order Optimization at the Edge of Stability [59.54782674222443]
  ゼロ階数(ZO)系の(平均二乗の)線形安定性を捉える明示的なステップサイズ条件を提供する。 以上の結果から,ZO法に特有の暗黙的な正則化効果が示され,大きなステップサイズが主にヘッセントレースを正則化することがわかった。
  論文  参考訳（メタデータ） (2026-04-16T06:23:18Z)
• Scaling up Stability: Reinforcement Learning for Distributed Control of Networked Systems in the Space of Stabilizing Policies [0.49109372384514843]
  本稿では,グラフニューラルネットワーク(GNN)をユーラ様の等級方向パラメータ化に組み込むポリシパラメータ化を提案する。 この大きさは、乱れフィードバックに作用するGNNと、局所的な観測に作用するGNNからなる安定作用素として実装される。 実験により、小さなネットワークで訓練されたポリシーは、より大きなネットワークと見えないネットワークトポロジに直接転送し、最先端のMARLベースラインよりも高いリターンと低い分散を達成することが示された。
  論文  参考訳（メタデータ） (2025-12-20T23:35:07Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• A PDE-based Explanation of Extreme Numerical Sensitivities and Edge of Stability in Training Neural Networks [12.355137704908042]
  勾配降下型深層ネットワーク(SGD)の現在の訓練実践における抑制的数値不安定性を示す。 我々は、偏微分方程式(PDE)の数値解析を用いて理論的枠組みを提示し、畳み込みニューラルネットワーク(CNN)の勾配降下PDEを分析する。 これはCNNの降下に伴う非線形PDEの結果であり、離散化のステップサイズを過度に運転すると局所線形化が変化し、安定化効果がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-06-04T14:54:05Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。