論文の概要: Classification with Large-Step Gradient Descent: Unifying Self-Stabilization and Convergence Rates
- arxiv url: http://arxiv.org/abs/2611.17459v1
- Date: Thu, 12 Nov 2026 19:36:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.248209
- Title: Classification with Large-Step Gradient Descent: Unifying Self-Stabilization and Convergence Rates
- Title(参考訳): 大規模グレディエントDescentによる分類 : 自己安定化と収束率の統一
- Abstract要約: ニューラルネットワークはしばしば、古典的な安定性閾値を超えるステップサイズを使用して勾配降下(GD)で訓練される。
既存の理論的な視点は相補的ではあるが不完全な洞察を与える。
分離線形分類におけるロジスティックおよびクロスエントロピー損失を含む指数的テール損失まで、この統一的な視点を延長する。
- 参考スコア(独自算出の注目度): 31.67777973442338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are often trained with gradient descent (GD) using step sizes that exceed classical stability thresholds, a regime where standard convergence theory no longer applies. Despite exhibiting non-monotonic loss and oscillatory dynamics, this regime frequently leads to faster convergence and better generalization. Existing theoretical perspectives offer complementary but incomplete insights: one identifies a self-stabilization mechanism that drives GD toward flat regions but does not yield convergence rates; another derives rigorous rates for specific losses but does not explain the underlying stabilization mechanism; and a third unifies these views for overparameterized least squares, but relies on the existence of a minimizer manifold, which is absent in classification settings. In this work, we extend this unified geometric perspective to exponential-tail losses, including logistic and cross-entropy losses in separable linear classification, where the loss infimum is not attained at any finite parameter. We identify a curvature-defined reference subspace that replaces the role of the minimizer manifold, yielding a coupled dynamical system in which orthogonal oscillations are damped by parallel progress along directions of decreasing sharpness. Under regularity conditions, which we verify for logistic and multiclass cross-entropy losses on symmetric data models, we derive explicit bounds for the iterates, not just the loss, covering both the unstable and stable regimes, and revealing a three-phase damping structure in the latter. Our analysis further uncovers a transient implicit bias induced by large step sizes: although GD converges asymptotically to the max-margin direction, large steps can leave persistent orthogonal residuals and, in certain geometries, amplify them, affecting finite-time alignment with the max-margin direction.
- Abstract(参考訳): ニューラルネットワークはしばしば、標準収束理論がもはや適用されない状態である古典的な安定性閾値を超えるステップサイズを用いて勾配降下(GD)で訓練される。
非単調な損失と振動ダイナミクスを示すにもかかわらず、この状態はしばしばより高速な収束とより優れた一般化をもたらす。
既存の理論的な視点は相補的ではあるが不完全な洞察を与える: GD を平坦な領域に向けて駆動する自己安定化機構を識別するが収束速度は得られない、一方は特定の損失に対して厳密な速度を導出するが、基礎となる安定化機構を説明しない、他方は、これらのビューを過度にパラメータ化された最小二乗に対して統一するが、分類設定では欠落する最小多様体の存在に依存する。
本研究では、この統一幾何的視点を指数的な尾の損失にまで拡張し、可分線形分類におけるロジスティックおよびクロスエントロピー損失を含む。
我々は、最小化多様体の役割を置き換える曲率定義参照部分空間を同定し、鋭さを減少させる方向に平行進行によって直交振動が減衰する結合力学系を得る。
対称データモデル上でのロジスティックおよびマルチクラスのクロスエントロピー損失を検証した規則性条件の下では、損失だけでなく、不安定な状態と安定な状態の両方をカバーし、後者の3相減衰構造を明らかにする。
GDは漸近的に最大マージン方向に収束するが、大きなステップは永続的な直交残差を残すことができ、ある測地ではそれらを増幅し、最大マージン方向との有限時間アライメントに影響を与える。
関連論文リスト
- Unified Geometry-Guided ML-FTLE for Tracking Transient Chaos from Scalar Time Series [0.0]
本稿では,予測軌道の偏差をマクロ的な誘引形態と統合し,突発的な状態変化を追跡する幾何学誘導型機械学習フレームワークを提案する。
この方程式のないフレームワークは、複雑な非定常系の構造遷移を監視するために、高精度でノイズ耐性のある診断を提供する。
論文 参考訳(メタデータ) (2026-06-05T15:22:57Z) - Robust Sequential Tracking via Bounded Information Geometry and Non-Parametric Field Actions [0.0]
LiDARによるターゲット追跡、高周波暗号秩序フロー、量子状態トモグラフィーの3つの領域にわたる実証的なベンチマークでは、この情報ジオメトリが異常値を解析的に減らすことを実証している。
論文 参考訳(メタデータ) (2026-03-13T21:40:44Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳(メタデータ) (2026-01-05T08:04:33Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳(メタデータ) (2025-10-22T19:06:39Z) - Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares [33.60489399178793]
ニューラルネットワーク上の勾配降下は、安定性の端と呼ばれる大きなステップサイズで頻繁に実行される。
過度にパラメータ化された最小二乗の設定において、学習率の高い勾配降下に対する収束率を提供する。
論文 参考訳(メタデータ) (2025-10-20T13:02:41Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳(メタデータ) (2024-02-20T16:01:42Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳(メタデータ) (2023-05-19T16:24:47Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳(メタデータ) (2022-06-08T21:32:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。