論文の概要: Non-Euclidean Gradient Descent Has Many Edges of Stability
- arxiv url: http://arxiv.org/abs/2610.15223v1
- Date: Sat, 10 Oct 2026 23:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 02:03:12.147357
- Title: Non-Euclidean Gradient Descent Has Many Edges of Stability
- Title（参考訳）: 非ユークリッド勾配の輝線には多くの安定性がある
- Abstract要約: ヒルベルトノルムが、任意の正定定値二次目的に対して、ほぼ至る所で2/S$が鋭いしきい値となる唯一のノルムであることを示す。
一般化安定性しきい値を超える指数関数的に発散する方向の前方不変領域を同定する。
- 参考スコア（独自算出の注目度）: 3.423332499970556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent observations that deep learning models train at the edge of stability have renewed interest in understanding stability properties of classical optimization algorithms. For quadratic objectives, standard gradient descent has a sharp stability threshold: it converges from every initialization when $η<2/L$, diverges from almost every initialization when $η>2/L$, and diverges from every nonzero initialization when $η>2/μ$. For non-Euclidean gradient descent, the corresponding known guarantees are weaker: convergence holds for every initialization when $η<2/S$, where $S$ is the generalized sharpness, while every nonzero initialization diverges when $η>2/μ$. The behavior in the intermediate regime $2/S<η<2/μ$ is not fully characterized. We show that Hilbertian norms are the only ones for which $2/S$ is an almost-everywhere sharp threshold for every positive-definite quadratic objective. Using linear conjugacy between non-Euclidean and Euclidean gradient descent, we show that for general norms the intermediate regime can contain arbitrarily many edges of stability associated with distinct attracting directions. We identify a forward-invariant region of exponentially divergent directions beyond the generalized stability threshold. When the directions of minimum curvature are finite and nondegenerate, we prove that, sufficiently close to $2/μ$ from below, only their invariant directions remain convergent. We give smooth two-dimensional constructions with arbitrarily many distinct thresholds, arbitrarily large relative threshold separation and show these properties to be stable.
- Abstract（参考訳）: ディープラーニングモデルが安定性の端で訓練する最近の観察は、古典最適化アルゴリズムの安定性特性の理解に新たな関心を寄せている。
標準勾配降下は、$η<2/L$のときのすべての初期化から収束し、$η>2/L$のときのほとんどすべての初期化から分岐し、$η>2/μ$のときのすべての非ゼロ初期化から分岐する。
収束は、$η<2/S$, where $S$ is the generalized sharpness, while every nonzero initialization are diverges when $η>2/μ$。
中間状態の2/S<η<2/μ$の挙動は、完全には特徴付けられない。
ヒルベルトノルムが、任意の正定定値二次目的に対して、ほぼ至る所で2/S$が鋭いしきい値となる唯一のノルムであることを示す。
非ユークリッド勾配降下とユークリッド勾配勾配の線形共役を用いて、一般ノルムに対して中間状態は、異なる誘引方向に関連する安定性のエッジを任意に含むことができることを示す。
一般化安定性しきい値を超える指数関数的に発散する方向の前方不変領域を同定する。
最小曲率の方向が有限かつ非退化であるとき、下から 2/μ$ に十分近いとき、その不変方向のみが収束することを示す。
任意に多くの異なるしきい値を持つ滑らかな2次元構成を与え、任意に大きな相対しきい値分離を行い、これらの特性が安定であることを示す。
関連論文リスト
- Global Exponential Convergence of Two-Layer Linear Network Training [18.359948110720747]
我々は,スムーズなPolyak-Lojasiewicz予測器の損失で訓練された広帯域2層線形ネットワークに対して,リッチスケーリングの明示的な速度で大域指数(線形)収束を証明した。
論文 参考訳（メタデータ） (2026-10-07T03:13:18Z) - Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds [1.6582968942719265]
一様雑音-モーメンタリティ境界は、距離によって変動が増加する勾配を除外する。
直接降下すると、スムーズな転位引数が3エプシロン6$を回復する。
局所化半径は、非レート仮定、クリッピング正規化、運動量、バッチサイズの増加といった境界から導かれる。
論文 参考訳（メタデータ） (2026-09-24T19:37:07Z) - Stability and Generalization of Straight-Through Estimators for Training Two-Layer Quantized Neural Networks [16.84694273405234]
ヒンジロスを伴う2層2層活性化ネットワークを訓練するための恒常的ストレートスルー推定器(STE)について検討した。
我々の中心的な問題は、アルゴリズム安定性が不連続なSTEトレーニングルールによって生成される推定器の統計的一般化を説明することができるかどうかである。
論文 参考訳（メタデータ） (2026-09-06T07:12:16Z) - Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
自己正規化マルティンガレのスケール不変上界が可能であることを示す。
通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
論文 参考訳（メタデータ） (2026-05-02T22:39:00Z) - The Origin of Edge of Stability [0.0]
ニューラルネットワーク上のフルバッチ勾配勾配は、最大のヘッセン固有値を2/$に駆動する。
本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。
論文 参考訳（メタデータ） (2026-04-22T11:08:49Z) - Discrete Double-Bracket Flows for Isotropic-Noise Invariant Eigendecomposition [7.186083931122418]
本研究では,行列ベクトル積 (MVP) のオラクルによる行列フリー固有分解について検討した。
標準的な近似法では、安定性を$|C_k|$に結合する固定ステップを使用するか、あるいは更新の消滅によって遅くなる適応ステップを使用する。
対角化目標と入力-状態安定性解析のための厳密なサドルと、トレースフリーな摂動の下での複雑さのスケーリングを$O(|C_e|2 / (2))$とすることで、グローバル収束を確立する。
論文 参考訳（メタデータ） (2026-02-14T13:09:29Z) - Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。
本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
論文 参考訳（メタデータ） (2025-06-02T17:34:29Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳（メタデータ） (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。