論文の概要: Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability

• arxiv url: http://arxiv.org/abs/2604.02653v1
• Date: Fri, 03 Apr 2026 02:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.286567
• Title: Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
• Title（参考訳）: 製品安定性: 安定性のエッジにおけるグラディエントDescentのための予測収束
• Authors: Eric Gan,
• Abstract要約: 製品安定性と呼ばれる損失関数の構造特性を導入,研究する。 製品安定ミニマの損失に対して、$(x,y) mapto l(xy)$の目的に適用される勾配勾配は、安定状態のエッジでのトレーニングにおいても、確実に局所最小値に収束できることを示す。
• 参考スコア（独自算出の注目度）: 3.4773470589069473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empirically, modern deep learning training often occurs at the Edge of Stability (EoS), where the sharpness of the loss exceeds the threshold below which classical convergence analysis applies. Despite recent progress, existing theoretical explanations of EoS either rely on restrictive assumptions or focus on specific squared-loss-type objectives. In this work, we introduce and study a structural property of loss functions that we term product-stability. We show that for losses with product-stable minima, gradient descent applied to objectives of the form $(x,y) \mapsto l(xy)$ can provably converge to the local minimum even when training in the EoS regime. This framework substantially generalizes prior results and applies to a broad class of losses, including binary cross entropy. Using bifurcation diagrams, we characterize the resulting training dynamics, explain the emergence of stable oscillations, and precisely quantify the sharpness at convergence. Together, our results offer a principled explanation for stable EoS training for a wider class of loss functions.
• Abstract（参考訳）: 経験的に、現代のディープラーニングトレーニングは、損失の鋭さが古典的な収束分析が適用する閾値を超えるような安定性の端(EoS)でしばしば起こる。 近年の進歩にもかかわらず、既存のEoSの理論的な説明は制限的な仮定に依存するか、特定の正方形ロス型の目的にフォーカスする。 本稿では,製品安定性と呼ばれる損失関数の構造特性について紹介し,研究する。 製品安定ミニマの損失に対して、$(x,y) \mapsto l(xy)$という形の目的に適用された勾配勾配は、EoS体制でのトレーニングにおいても、確実に局所最小値に収束できることを示す。 この枠組みは、先行結果を実質的に一般化し、二項交叉エントロピーを含む幅広い種類の損失に適用する。 分岐図を用いて、得られたトレーニングダイナミクスを特徴づけ、安定振動の出現を説明し、収束時のシャープネスを正確に定量化する。 この結果から,より広範な損失関数に対する安定EoSトレーニングの原理的説明が得られた。

関連論文リスト

• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• A PDE-based Explanation of Extreme Numerical Sensitivities and Edge of Stability in Training Neural Networks [12.355137704908042]
  勾配降下型深層ネットワーク(SGD)の現在の訓練実践における抑制的数値不安定性を示す。 我々は、偏微分方程式(PDE)の数値解析を用いて理論的枠組みを提示し、畳み込みニューラルネットワーク(CNN)の勾配降下PDEを分析する。 これはCNNの降下に伴う非線形PDEの結果であり、離散化のステップサイズを過度に運転すると局所線形化が変化し、安定化効果がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-06-04T14:54:05Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。