論文の概要: A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability

• arxiv url: http://arxiv.org/abs/2606.15551v1
• Date: Sun, 14 Jun 2026 02:39:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.687987
• Title: A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability
• Title（参考訳）: 安定性のエッジ上の勾配ディグエントのための分岐理論フレームワーク
• Abstract要約: 我々は,安定性の端に勾配降下を行う分岐理論の枠組みを開発する。 安定なEoSトレーニングは、通常方向のフリップ分岐によって生じることを示す。
• 参考スコア（独自算出の注目度）: 3.4773470589069473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Edge of Stability (EoS) phenomenon, where gradient descent operates with sharpness exceeding the classical convergence threshold yet the loss decreases over long timescales, is ubiquitous in modern deep learning but remains poorly understood in realistic settings. Prior rigorous analyses have been largely confined to scalar or low-dimensional losses with specific structural forms. In this work, we develop a bifurcation theory framework for gradient descent on the edge of stability that applies directly to overparameterized neural networks. By decomposing the training dynamics into components normal and tangent to the manifold of minimizers, we show that stable EoS training arises from a flip bifurcation in the normal direction, governed by the sign of the first Lyapunov coefficient, while the tangent dynamics drift toward regions of decreasing sharpness. Under mild spectral and geometric assumptions on the loss landscape, we prove convergence to the minimizing manifold when training at the EoS threshold. As a corollary, we recover and unify prior results: we show that the product-stability condition of Gan (2026) is an instance of our framework.
• Abstract（参考訳）: 勾配勾配降下が古典収束しきい値を超えるシャープネスで作用する安定性のエッジ(EoS)現象は、長い時間スケールで減少するが、現代のディープラーニングではユビキタスであるが、現実的な環境では理解されていない。 以前の厳密な分析は、主に特定の構造を持つスカラーや低次元の損失に限られていた。 本研究では、過パラメータニューラルネットワークに直接適用する安定性のエッジ上の勾配降下に関する分岐理論フレームワークを開発する。 トレーニングダイナミクスを正規成分に分解し, 最小値の多様体に接することで, 安定なEoSトレーニングは, 1次リャプノフ係数の符号に支配される通常の方向のフリップ分岐から発生し, タンジェントダイナミクスは鋭さが低下する領域に向かってドリフトすることを示す。 損失ランドスケープに関する軽度スペクトルおよび幾何的な仮定の下では、EoS閾値でのトレーニングにおいて最小化多様体に収束することが証明される。 我々は,Gan(2026)の製品安定状態が我々のフレームワークの例であることを示す。

関連論文リスト

• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability [3.4773470589069473]
  製品安定性と呼ばれる損失関数の構造特性を導入,研究する。 製品安定ミニマの損失に対して、$(x,y) mapto l(xy)$の目的に適用される勾配勾配は、安定状態のエッジでのトレーニングにおいても、確実に局所最小値に収束できることを示す。
  論文  参考訳（メタデータ） (2026-04-03T02:35:05Z)
• Training Instabilities Induce Flatness Bias in Gradient Descent [6.628332915214955]
  現代のディープネットワークは、しばしば安定性のしきい値を超える最高のパフォーマンスを達成する。 トレーニングの不安定さはGDに暗黙の偏りを生じさせ,損失景観の平坦な領域にパラメータを誘導することを示した。 また、アダムの不安定性の回復は一般化をさらに改善することを示した。
  論文  参考訳（メタデータ） (2025-11-16T11:26:25Z)
• Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
  本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。 我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。 本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-01T17:54:35Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Universal Sharpness Dynamics in Neural Network Training: Fixed Point Analysis, Edge of Stability, and Route to Chaos [5.854190253899593]
  ニューラルネットワークの勾配降下ダイナミクスでは、損失ヘッセン(シャープネス)のトップ固有値はトレーニングを通して様々な堅牢な現象を示す。 1つのトレーニング例に基づいて訓練された単純な2ドル層線形ネットワーク(UVモデル)が、実世界のシナリオで観察されるすべての本質的なシャープネス現象を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-03T17:59:40Z)
• Trajectory Alignment: Understanding the Edge of Stability Phenomenon via Bifurcation Theory [14.141453107129403]
  我々は、勾配降下軌道に沿って、損失ヘッセンの最大の固有値(シャープネスとしても知られる)の進化について研究する。 トレーニングの初期段階ではシャープネスが増加し、最終的には2/text(ステップサイズ)$のしきい値に近く飽和する。
  論文  参考訳（メタデータ） (2023-07-09T15:16:45Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。