論文の概要: On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials

• arxiv url: http://arxiv.org/abs/2602.14789v1
• Date: Mon, 16 Feb 2026 14:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.470281
• Title: On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials
• Title（参考訳）: GDおよびSGDにおける非線形ダイナミクスの安定性について:二次ポテンシャルを超えて
• Authors: Rotem Mulayoff, Sebastian U. Stich,
• Abstract要約: トレーニング中の反復体の安定性は、最適化アルゴリズムによって得られる最小値を決定する上で重要な役割を果たしている。 近年の研究では、GDは線形に不安定な最小値付近で安定に振動し、ステップサイズが崩壊した後でも収束することが示されている。 非線形力学は, 単一バッチが不安定であっても, 期待値のばらつきが可能であることを示す。
• 参考スコア（独自算出の注目度）: 33.36228161076605
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The dynamical stability of the iterates during training plays a key role in determining the minima obtained by optimization algorithms. For example, stable solutions of gradient descent (GD) correspond to flat minima, which have been associated with favorable features. While prior work often relies on linearization to determine stability, it remains unclear whether linearized dynamics faithfully capture the full nonlinear behavior. Recent work has shown that GD may stably oscillate near a linearly unstable minimum and still converge once the step size decays, indicating that linear analysis can be misleading. In this work, we explicitly study the effect of nonlinear terms. Specifically, we derive an exact criterion for stable oscillations of GD near minima in the multivariate setting. Our condition depends on high-order derivatives, generalizing existing results. Extending the analysis to stochastic gradient descent (SGD), we show that nonlinear dynamics can diverge in expectation even if a single batch is unstable. This implies that stability can be dictated by a single batch that oscillates unstably, rather than an average effect, as linear analysis suggests. Finally, we prove that if all batches are linearly stable, the nonlinear dynamics of SGD are stable in expectation.
• Abstract（参考訳）: トレーニング中の反復体の動的安定性は、最適化アルゴリズムによって得られる最小値を決定する上で重要な役割を果たしている。 例えば、勾配降下(GD)の安定解は、好ましい特徴に結びついている平坦なミニマに対応する。 以前の研究はしばしば安定性を決定するために線形化に依存するが、線形化力学が完全な非線形挙動を忠実に捉えているかどうかは不明である。 近年の研究では、GDは線形不安定な最小値付近で安定に振動し、ステップサイズが崩壊した後でも収束し、線形解析が誤解を招く可能性があることが示されている。 本研究では,非線形項の効果を明示的に研究する。 具体的には、多変量設定におけるGDのミニマ近傍での安定振動の正確な基準を導出する。 我々の条件は、既存の結果を一般化する高次微分に依存する。 解析を確率勾配降下 (SGD) に拡張することにより, 単一バッチが不安定であっても非線形力学は期待通りに分散できることを示す。 これは、線形解析が示すように、安定性は平均的な効果よりも不安定に振動する単一のバッチによって予測できることを意味している。 最後に、全てのバッチが線形安定であれば、SGDの非線形ダイナミクスは期待通りに安定であることを示す。

関連論文リスト

• A Precise Characterization of SGD Stability Using Loss Surface Geometry [8.942671556572073]
  Descent Gradient (SGD) は実世界の実証的な成功を証明しているが、理論的な理解は比較的限られている。 最近の研究は、その実用性に寄与する重要な要因である暗黙の正規化を照らしている。
  論文  参考訳（メタデータ） (2024-01-22T19:46:30Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)
• Exact Mean Square Linear Stability Analysis for SGD [28.65663421598186]
  勾配降下(SGD)の線形安定性に必要かつ十分なステップサイズを明示的条件として提示する。 SGDの安定性閾値は、全バッチ勾配ステップw.p.$-p$と1サンプル勾配ステップw.p.$p$の混合プロセスと等価であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:29:23Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。