論文の概要: The Multiple Timescales of Gradient Descent on the Edge of Stability: A Perturbative Derivation of the Central Flow

• arxiv url: http://arxiv.org/abs/2609.01034v1
• Date: Tue, 01 Sep 2026 10:32:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.560396
• Title: The Multiple Timescales of Gradient Descent on the Edge of Stability: A Perturbative Derivation of the Central Flow
• Title（参考訳）: 安定端における勾配沈着の複数の時間スケール:中央流れの摂動的導出
• Abstract要約: 我々は、中心流が勾配降下の限界である摂動的体制を導出する。 最も急な方向に沿った振動の速い時間スケール、自己安定化機構の中間の時間スケール、そして中心フローの$g$-の最小値に沿った力学の遅い時間スケールである。
• 参考スコア（独自算出の注目度）: 8.426855646402238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The central flow of Cohen et al. (2025) is an empirically accurate continuous-time model of gradient descent at the edge of stability in deep learning, However, its derivation is heuristic. We propose a perturbative regime in which the central flow is the limit of gradient descent: we assume that the loss decomposes as $f = g + \varepsilon h$; in the limit $\varepsilon \to 0$, the dynamics of gradient descent with learning rate $η$ converge to the gradient flow of $h$ constrained to the minimizers of $g$ of sharpness at most $2/η$. Our approach is formal rather than rigorous; it treats gradient descent as a singularly perturbed dynamical system in $\varepsilon$. Three timescales emerge: a fast timescale of oscillations along the sharpest direction, an intermediate timescale of the self-stabilization mechanism, and a slow timescale of the dynamics along the minimizers of $g$-the central flow. Using the method of multiple scales, a classical formal method from singular perturbation theory, we derive the expansion of the dynamics in $\varepsilon$: the central flow emerges as the leading-order term in the expansion, while the self-stabilization mechanism appears in the next-order term. We study this mechanism beyond previous analyses: with a single eigenvalue at the edge of stability, we compute the slow drift of the energy of the fluctuations; with several eigenvalues at the edge of stability, we derive the self-stabilization system and explain why fluctuations persist.
• Abstract（参考訳）: Cohen et al (2025) の中心流は、深層学習における安定性の端における勾配降下の実験的に正確な連続時間モデルであるが、その導出はヒューリスティックである。 中心流が勾配降下の極限である摂動的体制を提案し、損失は$f = g + \varepsilon h$, in the limit $\varepsilon \to 0$, the dynamics of gradient descent with learning rate $η$ converge to the gradient flow of $h$ to the minimalrs of $g$ of sharpness at least $2/η$と仮定する。 我々のアプローチは厳密ではなく形式的であり、勾配降下を$\varepsilon$の特異摂動力学系として扱う。 最も急な方向に沿った振動の速い時間スケール、自己安定化機構の中間の時間スケール、そして中心フローの$g$-の最小値に沿った力学の遅い時間スケールである。 特異摂動理論からの古典的な形式的方法である多重スケールの方法を用いて、$\varepsilon$: 中心流は拡大の先頭項として現れ、自己安定化機構は次の項に現れる。 安定性の端に1つの固有値を持ち、ゆらぎのエネルギーの緩やかなドリフトを計算し、安定性の端に複数の固有値を持ち、自己安定化系を導出し、ゆらぎが持続する理由を説明する。

関連論文リスト

• Strong Averaging Principle and Long-Time Dynamics for Fast-Slow SDEs with Increasing Time-Scale Separation and Degenerate Noise [1.0026496861838448]
  時間依存スケール分離パラメータを持つ高速スロー微分方程式の平均化原理を確立する。 ノイズ誘起の平滑化や規則性に基づくアプローチとは対照的に,本手法は凍結高速力学の解離性に依存する。
  論文  参考訳（メタデータ） (2026-08-24T16:30:59Z)
• The Road Taken: The Role of Optimizers at the Edge of Stability [53.81268610971847]
  安定性のエッジ(Edge of stability)とは、古典的な降下が不安定であると予測されるしきい値より上のヘッセンの固有値が安定である深層学習における現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 我々は、勾配降下を含む多くの一階法が、これらの理論によって予測される安定性を21.1ドルという大きな因子で著しく破っていることを観察した。
  論文  参考訳（メタデータ） (2026-08-19T01:03:34Z)
• Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability [11.598128347617957]
  安定の端における勾配降下ダイナミクス(EoS)のトラクタブルで忠実で予測的なモデルを提案する。 We show that Edge Flow track the dynamics of gradient descent least to faithfully as previously proposed continuous-time EoS model。
  論文  参考訳（メタデータ） (2026-06-16T15:45:47Z)
• SGD at the Edge of Stability: The Stochastic Sharpness Gap [10.176501817419371]
  フルバッチ勾配勾配(GD)とステップサイズが$$のトレーニングネットワークでは、Hessianの最大の固有値は2/$に上がり、そこでホバリングする。 citetdamian 2023selfstab は、この挙動は損失の3階構造によって誘導される自己安定化機構によって説明され、GD は制約 $ S(boldsymbol)leq 2/$ 上の射影勾配降下 (PGD) に暗黙的に従うことを示した。 ミニバッチ勾配勾配について
  論文  参考訳（メタデータ） (2026-04-22T19:02:52Z)
• Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks [74.46751089984072]
  深い線形ネットワークにおける勾配降下(SGD)ノイズの理解は不十分である。 本研究では,サドル・アンド・サドル体制におけるDLNの訓練におけるSGDの動態について検討した。 以上の結果から,SGDノイズは特徴学習の進行に関する情報を符号化するが,サドル・アンド・サドル・ダイナミクスを根本的に変えるものではないことが判明した。
  論文  参考訳（メタデータ） (2026-04-07T18:43:08Z)
• A Theoretical Framework for Grokking: Interpolation followed by Riemannian Norm Minimisation [17.31702538576744]
  一般訓練損失$F: mathbbRd から mathbbR$ への勾配流のダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2025-05-26T16:12:45Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability [40.17821914923602]
  安定性の端における勾配降下は、制約$S(theta) le 2/eta$ の下で、投影勾配降下 (PGD) に暗黙的に従うことを示す。 本分析は, PGD軌道からの損失, 鋭さ, 偏差を, トレーニングを通して正確に予測する。
  論文  参考訳（メタデータ） (2022-09-30T17:15:12Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Long-lived period-doubled edge modes of interacting and disorder-free Floquet spin chains [68.8204255655161]
  障害のない状態でも、バルク加熱の存在下では、$pi$エッジモードは長く生きています。 生涯のトンネル推定は、ストロボスコープの時間進化をクリロフ部分空間内の単一粒子の力学にマッピングすることで得られる。
  論文  参考訳（メタデータ） (2021-05-28T12:13:14Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。