論文の概要: The Road Taken: The Role of Optimizers at the Edge of Stability

• arxiv url: http://arxiv.org/abs/2608.18415v1
• Date: Wed, 19 Aug 2026 01:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.241676
• Title: The Road Taken: The Role of Optimizers at the Edge of Stability
• Title（参考訳）: 道のり:安定の端における最適化の役割
• Abstract要約: 安定性のエッジ(Edge of stability)とは、古典的な降下が不安定であると予測されるしきい値より上のヘッセンの固有値が安定である深層学習における現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 我々は、勾配降下を含む多くの一階法が、これらの理論によって予測される安定性を21.1ドルという大きな因子で著しく破っていることを観察した。
• 参考スコア（独自算出の注目度）: 53.81268610971847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The edge of stability refers to a phenomenon in deep learning with gradient-based optimizers where the Hessian eigenvalues of the loss remain stable above a threshold that the classical descent lemma predicts to be unstable. Previous works formulate the edge of stability with respect to the maximum Hessian eigenvalue and the learning rate. However, we observe that many first-order methods, including gradient descent, significantly violate the stability bound predicted by these theories by a factor as large as $\times 21.1$. Moreover, this deviation turns out to be systematic and highly dependent on the underlying optimizer, which is not captured by previous formulations. This calls for a new formulation of the stability threshold, which we derive from the directional Hessian and the gradient-alignment score with respect to the actual update taken by the optimizer, rather than the maximum curvature mode. Our new formulation of the realized edge of stability not only removes optimizer-dependent offsets and provides more consistent predictions of the stability threshold, but also introduces new diagnostic tools that reveal the unique role of the optimizer in actively balancing between the temporal and spatial budgets in first-order optimization.
• Abstract（参考訳）: 安定性の端は、勾配に基づくオプティマイザによる深層学習において、損失のヘッセン固有値は古典的な降下補題が不安定であると予測するしきい値以上の安定なままである現象を指す。 それまでの研究は、最大ヘッセン固有値と学習率に関して安定性の端を定式化していた。 しかし、勾配降下を含む多くの一階法は、これらの理論によって予測される安定性を最大21.1$の係数で著しく破っている。 さらに、この偏差は体系的であり、以前の定式化では捉えられなかった基礎となるオプティマイザに強く依存していることが判明した。 これは、最大曲率モードではなく、オプティマイザによる実際の更新に対して、方向ヘッセンと勾配配向スコアから導かれる安定性閾値の新たな定式化を要求する。 我々の新しい安定エッジの定式化は、最適化者依存オフセットを除去し、安定性閾値のより一貫した予測を提供するだけでなく、一階最適化における時間的予算と空間的予算のバランスをとる上で、最適化者のユニークな役割を明らかにする新しい診断ツールも導入する。

関連論文リスト

• SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates [2.104588729923885]
  現代のディープラーニングは、安定性の端で機能することが示されている。 マルチクラスクロスエントロピー損失に適用したグラディエント・ディキセント(SGD)の収束保証を提供する。 実験は、我々の理論的な知見を検証し、大規模体制におけるSGDの利点を実証する。
  論文  参考訳（メタデータ） (2026-06-29T21:32:58Z)
• Zeroth-Order Optimization at the Edge of Stability [59.54782674222443]
  ゼロ階数(ZO)系の(平均二乗の)線形安定性を捉える明示的なステップサイズ条件を提供する。 以上の結果から,ZO法に特有の暗黙的な正則化効果が示され,大きなステップサイズが主にヘッセントレースを正則化することがわかった。
  論文  参考訳（メタデータ） (2026-04-16T06:23:18Z)
• Momentum Further Constrains Sharpness at the Edge of Stochastic Stability [0.5405981353784005]
  最近の研究は(確率的な)勾配降下が不安定な境界付近で自己組織化し、最適化と解の両方を形作ることを示唆している。 運動量を持つSGDは、バッチサイズ依存の挙動を持つ安定性のエッジ(EoSS)のような状態を示す。
  論文  参考訳（メタデータ） (2026-04-15T17:28:46Z)
• Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
  モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。 そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:40:12Z)
• Efficient Inference after Directionally Stable Adaptive Experiments [47.32051320630248]
  本稿では,帯域幅などの適応データ収集後の経路微分可能な対象の推測について検討する。 本稿では,従来の目標パラメトリック安定性条件よりも厳格に弱い,新たな目標固有条件である指向性安定性を導入する。
  論文  参考訳（メタデータ） (2026-02-25T01:09:18Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• High dimensional analysis reveals conservative sharpening and a stochastic edge of stability [21.12433806766051]
  トレーニング損失Hessianの大きな固有値のダイナミクスは,モデル間およびバッチ全体において極めて堅牢な特徴を持っていることを示す。 しばしば、大きな固有値が増加するプログレッシブ・シャープニングの初期段階があり、続いて安定性の端として知られる予測可能な値での安定化が続く。
  論文  参考訳（メタデータ） (2024-04-30T04:54:15Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。