論文の概要: The Origin of Edge of Stability
- arxiv url: http://arxiv.org/abs/2604.20446v1
- Date: Wed, 22 Apr 2026 11:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:11.101146
- Title: The Origin of Edge of Stability
- Title（参考訳）: 安定性のエッジの起源
- Authors: Elon Litman,
- Abstract要約: ニューラルネットワーク上のフルバッチ勾配勾配は、最大のヘッセン固有値を2/$に駆動する。
本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-batch gradient descent on neural networks drives the largest Hessian eigenvalue to the threshold $2/η$, where $η$ is the learning rate. This phenomenon, the Edge of Stability, has resisted a unified explanation: existing accounts establish self-regulation near the edge but do not explain why the trajectory is forced toward $2/η$ from arbitrary initialization. We introduce the edge coupling, a functional on consecutive iterate pairs whose coefficient is uniquely fixed by the gradient-descent update. Differencing its criticality condition yields a step recurrence with stability boundary $2/η$, and a second-order expansion yields a loss-change formula whose telescoping sum forces curvature toward $2/η$. The two formulas involve different Hessian averages, but the mean value theorem localizes each to the true Hessian at an interior point of the step segment, yielding exact forcing of the Hessian eigenvalue with no gap. Setting both gradients of the edge coupling to zero classifies fixed points and period-two orbits; near a fixed point, the problem reduces to a function of the half-amplitude alone, which determines which directions support period-two orbits and on which side of the critical learning rate they appear.
- Abstract（参考訳）: ニューラルネットワーク上の全バッチ勾配勾配は、最大のヘッセン固有値を閾値2/η$に誘導し、$η$は学習率である。
既存のアカウントはエッジの近くに自己規制を定めているが、なぜ軌道が任意の初期化から2/η$に強制されるのかは説明していない。
本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。
臨界条件を差すと、安定性境界が2/η$でステップ再帰し、2階展開は2/η$へのテレスコープ和の曲率を2/η$に曲率する損失変化式を得る。
2つの公式は異なるヘッセン平均を含むが、平均値定理は、それぞれがステップセグメントの内部点で真のヘッセンに局在し、ギャップのないヘッセン固有値の正確な強制を与える。
エッジ結合の勾配を0に設定すると、固定点と周期2の軌道が分類され、固定点の近くでは、問題は半振幅のみの関数に還元され、周期2の軌道を支持する方向と臨界学習速度のどの側に現れるかを決定する。
関連論文リスト
- Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。
幅依存性の動的遷移によって分離された2つの規則を同定する。
全ての予測は23の実験で検証される。
論文 参考訳（メタデータ） (2026-04-08T10:41:24Z) - Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism [25.642618010943824]
本稿では,2倍の楽観的ヒント関数に基づくオンラインの楽観的勾配法を提案する。
我々は1.75 + sigma2 varepsilon-3.5)$で統一されたアルゴリズムを得る。
論文 参考訳（メタデータ） (2025-10-03T16:41:24Z) - Tunable quantum criticality and pseudocriticality across the fixed-point
annihilation in the anisotropic spin-boson model [0.26107298043931204]
スピンボソンモデルにおける不動点消滅の非自明な再正規化群シナリオについて検討する。
連続性あるいは強一階化が可能な2つの局所位相間の調整可能な遷移を求める。
また, 逆相関長指数が浴量指数によって与えられる対称性を持つ一階遷移において, スケーリングの挙動も見いだす。
論文 参考訳（メタデータ） (2024-03-04T19:00:07Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳（メタデータ） (2024-02-20T16:01:42Z) - Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of
Stability [40.17821914923602]
安定性の端における勾配降下は、制約$S(theta) le 2/eta$ の下で、投影勾配降下 (PGD) に暗黙的に従うことを示す。
本分析は, PGD軌道からの損失, 鋭さ, 偏差を, トレーニングを通して正確に予測する。
論文 参考訳（メタデータ） (2022-09-30T17:15:12Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Superdiffusion in random two dimensional system with time-reversal symmetry and long-range hopping [45.873301228345696]
次元$d=2$とホッピング$V(r)proto r-2$の交叉系における局所化問題は、まだ解決されていない。
二次元異方性双極子-双極子相互作用によって決定されるホッピングには、弱い障害と強い障害の2つの区別可能な位相が存在することを示す。
論文 参考訳（メタデータ） (2022-05-29T16:53:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Anisotropy-mediated reentrant localization [62.997667081978825]
2次元双極子系、$d=2$、一般化双極子-双極子相互作用$sim r-a$、トラップイオン系やリドバーグ原子系で実験的に制御されたパワー$a$を考える。
異方性双極子交換を引き起こす双極子の空間的に均質な傾き$$beta$は、ロケータ展開を超えた非自明な再帰的局在をもたらすことを示す。
論文 参考訳（メタデータ） (2020-01-31T19:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。