論文の概要: The Origin of Edge of Stability

• arxiv url: http://arxiv.org/abs/2604.20446v1
• Date: Wed, 22 Apr 2026 11:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.101146
• Title: The Origin of Edge of Stability
• Title（参考訳）: 安定性のエッジの起源
• Abstract要約: ニューラルネットワーク上のフルバッチ勾配勾配は、最大のヘッセン固有値を2/$に駆動する。 本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-batch gradient descent on neural networks drives the largest Hessian eigenvalue to the threshold $2/η$, where $η$ is the learning rate. This phenomenon, the Edge of Stability, has resisted a unified explanation: existing accounts establish self-regulation near the edge but do not explain why the trajectory is forced toward $2/η$ from arbitrary initialization. We introduce the edge coupling, a functional on consecutive iterate pairs whose coefficient is uniquely fixed by the gradient-descent update. Differencing its criticality condition yields a step recurrence with stability boundary $2/η$, and a second-order expansion yields a loss-change formula whose telescoping sum forces curvature toward $2/η$. The two formulas involve different Hessian averages, but the mean value theorem localizes each to the true Hessian at an interior point of the step segment, yielding exact forcing of the Hessian eigenvalue with no gap. Setting both gradients of the edge coupling to zero classifies fixed points and period-two orbits; near a fixed point, the problem reduces to a function of the half-amplitude alone, which determines which directions support period-two orbits and on which side of the critical learning rate they appear.
• Abstract（参考訳）: ニューラルネットワーク上の全バッチ勾配勾配は、最大のヘッセン固有値を閾値2/η$に誘導し、$η$は学習率である。 既存のアカウントはエッジの近くに自己規制を定めているが、なぜ軌道が任意の初期化から2/η$に強制されるのかは説明していない。 本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。 臨界条件を差すと、安定性境界が2/η$でステップ再帰し、2階展開は2/η$へのテレスコープ和の曲率を2/η$に曲率する損失変化式を得る。 2つの公式は異なるヘッセン平均を含むが、平均値定理は、それぞれがステップセグメントの内部点で真のヘッセンに局在し、ギャップのないヘッセン固有値の正確な強制を与える。 エッジ結合の勾配を0に設定すると、固定点と周期2の軌道が分類され、固定点の近くでは、問題は半振幅のみの関数に還元され、周期2の軌道を支持する方向と臨界学習速度のどの側に現れるかを決定する。

関連論文リスト

• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Stability and Generalization of Straight-Through Estimators for Training Two-Layer Quantized Neural Networks [16.84694273405234]
  ヒンジロスを伴う2層2層活性化ネットワークを訓練するための恒常的ストレートスルー推定器(STE)について検討した。 我々の中心的な問題は、アルゴリズム安定性が不連続なSTEトレーニングルールによって生成される推定器の統計的一般化を説明することができるかどうかである。
  論文  参考訳（メタデータ） (2026-09-06T07:12:16Z)
• Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
  本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。 指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
  論文  参考訳（メタデータ） (2026-07-07T08:55:35Z)
• Sample Complexity of Policy Gradient for Log-Growth Control [23.86784769848408]
  ログ成長制御のためのポリシ勾配のサンプル複雑性について検討する。 予測されたミニバッチポリシー勾配が全サンプルの複雑さを実現することを証明した。
  論文  参考訳（メタデータ） (2026-05-26T07:24:14Z)
• SGD at the Edge of Stability: The Stochastic Sharpness Gap [10.176501817419371]
  フルバッチ勾配勾配(GD)とステップサイズが$$のトレーニングネットワークでは、Hessianの最大の固有値は2/$に上がり、そこでホバリングする。 citetdamian 2023selfstab は、この挙動は損失の3階構造によって誘導される自己安定化機構によって説明され、GD は制約 $ S(boldsymbol)leq 2/$ 上の射影勾配降下 (PGD) に暗黙的に従うことを示した。 ミニバッチ勾配勾配について
  論文  参考訳（メタデータ） (2026-04-22T19:02:52Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism [25.642618010943824]
  本稿では,2倍の楽観的ヒント関数に基づくオンラインの楽観的勾配法を提案する。 我々は1.75 + sigma2 varepsilon-3.5)$で統一されたアルゴリズムを得る。
  論文  参考訳（メタデータ） (2025-10-03T16:41:24Z)
• Tunable quantum criticality and pseudocriticality across the fixed-point annihilation in the anisotropic spin-boson model [0.26107298043931204]
  スピンボソンモデルにおける不動点消滅の非自明な再正規化群シナリオについて検討する。 連続性あるいは強一階化が可能な2つの局所位相間の調整可能な遷移を求める。 また, 逆相関長指数が浴量指数によって与えられる対称性を持つ一階遷移において, スケーリングの挙動も見いだす。
  論文  参考訳（メタデータ） (2024-03-04T19:00:07Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability [40.17821914923602]
  安定性の端における勾配降下は、制約$S(theta) le 2/eta$ の下で、投影勾配降下 (PGD) に暗黙的に従うことを示す。 本分析は, PGD軌道からの損失, 鋭さ, 偏差を, トレーニングを通して正確に予測する。
  論文  参考訳（メタデータ） (2022-09-30T17:15:12Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Superdiffusion in random two dimensional system with time-reversal symmetry and long-range hopping [45.873301228345696]
  次元$d=2$とホッピング$V(r)proto r-2$の交叉系における局所化問題は、まだ解決されていない。 二次元異方性双極子-双極子相互作用によって決定されるホッピングには、弱い障害と強い障害の2つの区別可能な位相が存在することを示す。
  論文  参考訳（メタデータ） (2022-05-29T16:53:20Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Anisotropy-mediated reentrant localization [62.997667081978825]
  2次元双極子系、$d=2$、一般化双極子-双極子相互作用$sim r-a$、トラップイオン系やリドバーグ原子系で実験的に制御されたパワー$a$を考える。 異方性双極子交換を引き起こす双極子の空間的に均質な傾き$$beta$は、ロケータ展開を超えた非自明な再帰的局在をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-31T19:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。