論文の概要: SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

• arxiv url: http://arxiv.org/abs/2606.30930v1
• Date: Mon, 29 Jun 2026 21:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.004455
• Title: SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates
• Title（参考訳）: 安定の端におけるSGD:大規模学習率による確率的安定化
• Abstract要約: 現代のディープラーニングは、安定性の端で機能することが示されている。 マルチクラスクロスエントロピー損失に適用したグラディエント・ディキセント(SGD)の収束保証を提供する。 実験は、我々の理論的な知見を検証し、大規模体制におけるSGDの利点を実証する。
• 参考スコア（独自算出の注目度）: 2.104588729923885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep learning has been shown to operate at the edge of stability, routinely using learning rates far larger than those justified by classical optimization theory. Most prior analyses of the edge of stability phenomenon focus on deterministic gradient descent, leaving the stochastic setting largely unexplored. In this work, we provide sharp convergence guarantees for Stochastic Gradient Descent (SGD) applied to the multiclass cross-entropy loss, for both linear classifiers and two-layer neural networks. We show that the stochasticity of SGD may cause the dynamics to alternate between an edge-of-stability regime that is dominated by curvature-driven oscillations, and a stable regime in which the expected loss decreases at a controlled rate. Despite that, we prove that SGD self-stabilizes the dynamics, ensuring that the iterates return to stability in a fixed number of iterations and allowing convergence in the best-iterate sense even with large learning rates. Experiments validate our theoretical findings and illustrate the benefits of SGD in the large-stepsize regime.
• Abstract（参考訳）: 現代のディープラーニングは、古典的最適化理論によって正当化されたものよりもはるかに大きい学習率を用いて、安定性の端で動作することが示されている。 安定性現象の端の最も以前の分析は、決定論的勾配降下に焦点をあて、確率的セッティングはほとんど探索されていない。 本研究では、線形分類器と2層ニューラルネットワークの両方に対して、マルチクラスクロスエントロピー損失に適用された確率勾配Descent (SGD) に対する鋭い収束保証を提供する。 本研究では,SGDの確率性は,曲率駆動振動が支配する安定状態と,予測損失が制御速度で減少する安定状態とを交互に作用させる可能性があることを示す。 それにもかかわらず、SGDは力学を自己安定化させ、一定回数の反復において反復が安定に戻すことを保証し、学習率の高いベストイテレート感覚の収束を可能にする。 実験は、我々の理論的な知見を検証し、大規模体制におけるSGDの利点を実証する。

関連論文リスト

• The Road Taken: The Role of Optimizers at the Edge of Stability [53.81268610971847]
  安定性のエッジ(Edge of stability)とは、古典的な降下が不安定であると予測されるしきい値より上のヘッセンの固有値が安定である深層学習における現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 我々は、勾配降下を含む多くの一階法が、これらの理論によって予測される安定性を21.1ドルという大きな因子で著しく破っていることを観察した。
  論文  参考訳（メタデータ） (2026-08-19T01:03:34Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Momentum Further Constrains Sharpness at the Edge of Stochastic Stability [0.5405981353784005]
  最近の研究は(確率的な)勾配降下が不安定な境界付近で自己組織化し、最適化と解の両方を形作ることを示唆している。 運動量を持つSGDは、バッチサイズ依存の挙動を持つ安定性のエッジ(EoSS)のような状態を示す。
  論文  参考訳（メタデータ） (2026-04-15T17:28:46Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• High dimensional analysis reveals conservative sharpening and a stochastic edge of stability [21.12433806766051]
  トレーニング損失Hessianの大きな固有値のダイナミクスは,モデル間およびバッチ全体において極めて堅牢な特徴を持っていることを示す。 しばしば、大きな固有値が増加するプログレッシブ・シャープニングの初期段階があり、続いて安定性の端として知られる予測可能な値での安定化が続く。
  論文  参考訳（メタデータ） (2024-04-30T04:54:15Z)
• A Precise Characterization of SGD Stability Using Loss Surface Geometry [8.942671556572073]
  Descent Gradient (SGD) は実世界の実証的な成功を証明しているが、理論的な理解は比較的限られている。 最近の研究は、その実用性に寄与する重要な要因である暗黙の正規化を照らしている。
  論文  参考訳（メタデータ） (2024-01-22T19:46:30Z)
• Investigating the Edge of Stability Phenomenon in Reinforcement Learning [20.631461205889487]
  強化学習(RL)における安定性現象の端点を探る 教師付き学習との大きな違いにもかかわらず、安定性現象の端は、非政治的な深いRLに存在している。 この結果から,ニューラルネットワーク構造は問題領域間の移動を最適化するダイナミクスをもたらす可能性があるが,深いRL最適化の特定の側面は,教師付き学習のような領域と区別できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-07-09T15:46:27Z)
• Type-II Saddles and Probabilistic Stability of Stochastic Gradient Descent [16.849376037005452]
  ニューラルネットワークのサドル点を2つのタイプに分けることができ、その中では、勾配ノイズがサドルで消えてしまうため、タイプIIサドルが特に逃れるのが困難である。 これらのサドルの周りのSGDのダイナミクスは、ランダム行列積プロセスによって記述される先行次数へと導かれる。 我々は,サドル点がSGDに対して魅力的あるいは反発的であり,その力学は,サドルに近い勾配の信号-雑音比に応じて,4つの異なる位相に分類できることを示す。
  論文  参考訳（メタデータ） (2023-03-23T08:17:10Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。