論文の概要: A Journey to the Edge of Stability

• arxiv url: http://arxiv.org/abs/2609.32290v1
• Date: Sat, 26 Sep 2026 06:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:03:40.920489
• Title: A Journey to the Edge of Stability
• Title（参考訳）: 安定の端への旅
• Abstract要約: 深層学習は、最大ヘッセン固有値モデルが学習率と相反する値で安定化される「安定性の端」(EoS)でしばしば起こる。 深層学習問題を解き、深層学習率のスイープで一階最適化法を変化させる。 次に、学習軌跡の特徴量、すなわち損失、鋭さ、連続的な勾配間のアライメントを追跡する。
• 参考スコア（独自算出の注目度）: 53.81268610971847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has recently been found that deep learning often occurs at the "edge of stability (EoS)," where the maximum Hessian eigenvalue of the model is stabilized at a value reciprocal to the learning rate. However, what happens before we reach that regime? We fix a deep learning problem and vary first order optimization methods with dense learning rate sweeps. We then track the characterizing quantities of a learning trajectory: the loss, the sharpness, and the alignment between consecutive gradients. To our surprise, if we scale the learning rate by the dc gain of the optimizer, these traces from the sweeps from different optimizers almost perfectly overlap across a large range of learning rates. The dc-normalized optimizers have another role that only becomes apparent in high learning rates: they select when the sharpness value detaches from this universal curve and enters the edge of stability. Upon this discovery, we specify three distinct regimes with respect to the dc-adjusted learning rate: the low-LR regime where the trajectory is nearly insensitive to the optimizer, the high-LR regime, where the optimizer governs the sharpness according to the EoS reciprocal rule, and the in-between mid-LR regime where so-called progressive sharpening originates independently of the optimizer. This distinguishes the role of the optimizer, the learning rate, and the model in shaping the learning progress.
• Abstract（参考訳）: 近年,モデルのヘッセン固有値の最大値が学習速度に相反する値で安定化される「安定性の端」(EoS)において,ディープラーニングがしばしば発生することが判明した。 しかし、その体制に達する前に何が起こるのか? 深層学習問題を解き、深層学習率のスイープで一階最適化法を変化させる。 次に、学習軌跡の特徴量、すなわち損失、鋭さ、連続的な勾配間のアライメントを追跡する。 驚いたことに、オプティマイザのdcゲインによる学習率をスケールした場合、異なるオプティマイザのスイープから得られたトレースは、広範囲の学習率にほぼ完全にオーバーラップする。 dc正規化されたオプティマイザは、高い学習率でのみ明らかになる別の役割を持つ。 本発見では, Dc調整学習率に関して, 軌道がオプティマイザにほぼ敏感な低LR体制, EoS相互規則に従ってオプティマイザがシャープネスを統治する高LR体制, いわゆるプログレッシブシャープニングがオプティマイザから独立して生じる中間LR体制の3つの異なる規則を規定する。 これは、学習の進捗を形作る上で、オプティマイザ、学習率、モデルの役割を区別する。

関連論文リスト

• Dynamic Momentum Recalibration in Online Gradient Learning [6.6375578955686345]
  Gradient Descent(SGD)とその運動量変化は、ディープラーニング最適化のバックボーンを形成する。 本研究では信号処理のレンズを通して勾配の更新を再解釈し、固定運動量係数が本質的にバイアスと分散のバランスを歪め、歪んだあるいは最適以下のパラメータの更新をもたらすことを明らかにする。 SGDF(SGD with Filter)を提案する。
  論文  参考訳（メタデータ） (2026-03-06T10:23:40Z)
• Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning [25.53799024782883]
  大言語モデル(LLM)は、既存のモデルから望ましくないデータや知識の影響を外科的に除去することを目的としている。 最近の知見は、ウェイト量子化や微調整のような未学習操作が、意図した忘れを迅速に中和できることを示している。
  論文  参考訳（メタデータ） (2025-10-01T10:50:14Z)
• Explainable Learning Rate Regimes for Stochastic Optimization [12.836088204932842]
  現代の機械学習は勾配降下(SGD)によって訓練され、その性能は学習率(LR)が時間とともにどのように調整され減少するかに依存する。 既存のLRレギュレーションは複雑で、あるいは1つ以上の追加のハイパーパラメータを手動で調整する必要がある。 この研究は、内在的な勾配の変化によってのみLRが自動的に更新される方法を明らかにする。
  論文  参考訳（メタデータ） (2025-08-19T08:51:38Z)
• Online Learning-guided Learning Rate Adaptation via Gradient Alignment [25.688764889273237]
  大規模ディープラーニングモデルの性能は、学習率の微調整に大きく依存する。 本稿では, GALA (Gradient Alignment-based Adaptation) と呼ばれるフレームワークを提案する。 Follow-the-Regularized-Leaderのようなオンライン学習アルゴリズムと組み合わせることで、フレキシブルで適応的な学習スケジュールを生成する。
  論文  参考訳（メタデータ） (2025-06-10T03:46:41Z)
• Understanding Optimization in Deep Learning with Central Flows [95.5647720254338]
  複雑な状態における最適化のダイナミクスを記述できる理論を開発する。 この結果から,ディープラーニングの最適化を推論する上で,中央フローが重要な理論ツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [2.743898388459522]
  深層強化学習(RL)では、学習速度は安定性と性能の両方に重大な影響を及ぼすが、環境と政策が進化するにつれて、トレーニング中に最適な価値がシフトする。 標準崩壊スケジューラは単調収束を仮定し、しばしばこれらのダイナミクスと不一致し、早めまたは遅れた調整をもたらす。 LRRLは、学習手順ではなく、政策性能に基づいて動的に学習率を選択するメタ学習手法である。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。