論文の概要: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
- arxiv url: http://arxiv.org/abs/2610.27321v1
- Date: Mon, 19 Oct 2026 21:40:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.520473
- Title: Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability
- Title（参考訳）: 安定の端を超えた物理インスパイアされた最適化:周期2軌道と遅延不安定性
- Abstract要約: 我々は、運動量の運動エネルギーの軌道である運動地図を研究し、それらが安定性の端を越えて何をするかを問う。
鋭さが徐々に上昇するので、ネイシュタットの緩やかな分岐理論のように安定性の喪失は遅れる。
- 参考スコア（独自算出の注目度）: 51.56484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient descent with momentum can be viewed as a particle moving with friction in the loss landscape. In deep learning the learning rate is usually large, so training is a discrete dynamical system: in many full-batch experiments the sharpness grows to the optimizer's stability limit, the edge of stability (EoS), and training continues there. Physics-inspired optimizers change this motion; Velocity-Regularized Adam (VRAdam), for example, shrinks the step at high speed. We study kinetic maps, in which the step is the gradient of a kinetic energy of the momentum, and ask what they do beyond the EoS. (i) In a reduced model, a kinetic map creates a symmetric period-two orbit beyond the edge, strictly linearly stable if and only if the map's elasticity (the log-log slope of step length versus momentum) lies between 0 and 1; on it, training sits at an effective edge of stability. VRAdam's damper fails above twice the critical learning rate, where its kinetic energy is not convex; the Legendre dual of VRAdam's own Lagrangian is convex and passes at every learning rate. (ii) Because the sharpness rises gradually, the loss of stability is delayed, as in Neishtadt's theory of slowly swept bifurcations. In a network with a controlled sweep, the dynamics match this theory without fitted parameters, including the memory of where the sweep started and its erasure by noise. (iii) With momentum, reaching the oscillation also requires elasticity at large momentum: maps that bound the step have competing period-four and chaotic attractors already at beta1 = 0.9, while the cubic-Legendre map reached the oscillation from every sampled start up to beta1 = 0.99. Experiments on an exact quadratic problem, a full-batch MLP and ResNet-32 support the theory; on ResNet-18, much of the apparent benefit of the maps is reproduced by matching the effective learning rate.
- Abstract（参考訳）: 運動量によるグラディエント降下は、ロスランドスケープで摩擦で動く粒子と見なすことができる。
多くのフルバッチ実験では、シャープネスはオプティマイザの安定性限界、安定性の端(EoS)まで増加し、トレーニングは継続する。
例えば、Velocity-Regularized Adam (VRAdam)は、高速でステップを縮小する。
我々は、運動量の運動エネルギーの勾配がステップとなる運動地図を研究し、それらがEoSを超えて何をするかを問う。
(i) 縮小モデルにおいて、運動論的写像は、エッジの向こう側にある対称周期2軌道を厳密に線形に安定に生成し、地図の弾力性(ステップ長と運動量の対数-ログ勾配)が0から1の間にある場合に限り、その上でのトレーニングは効果的な安定性の端に置かれる。
VRAdamのダンパーは、その運動エネルギーが凸でない臨界学習率の2倍以上に失敗し、VRAdam自身のラグランジアン(Lagrangian)のラグランジアン(Legendre)の2倍は凸であり、全ての学習速度で通過する。
(II) 鋭さが徐々に上昇するので、ネイシュタットの緩やかな分岐理論のように安定性の喪失は遅れる。
制御されたスイープを持つネットワークでは、ダイナミックスは、スイープがどこから始まったか、ノイズによる消去などのパラメータを組み込まずにこの理論に適合する。
3) 運動量に達すると、大きな運動量で弾力性も必要となる: ステップに束縛された写像は、既にベータ1 = 0.9で、周期4とカオスアトラクションを持つが、立方体-レジェンドレ写像は、全てのサンプルからベータ1 = 0.99まで振動する。
ResNet-18では、実効学習率と一致させることで、地図の明らかな利点の多くを再現する。
関連論文リスト
- Physics is the Best Teacher: Consistency Learning for Time-Invariant Operators of Chaotic Dynamics [68.73738609860875]
システムの時間不変進化演算子を学習する手法を開発した。
物理蒸留された整合性は、短期軌跡と長期統計をより正確にする。
学習者は時間外挿を継続し、自動回帰ロールアウトのような多くの評価を必要とする。
論文 参考訳（メタデータ） (2026-10-02T22:27:03Z) - The Map Behind the Flow: Finite-Step Gradient Descent as a Dynamical System [42.117840303613164]
安定性のエッジ、鋭さの振動、カタパルト相、バランス、フラットな表現への動きは、トレーニングマップ自体の効果である。
本稿では, 厳密解モデルの階層構造における離散力学系としての固定ステップ勾配勾配について検討する。
論文 参考訳（メタデータ） (2026-07-06T12:28:24Z) - Between Amnesia and Chaos: A Memory Stability Expressivity Trilemma for Trainable Dissipative Oscillator Networks [0.0]
メモリ水平線,勾配安定性,動的表現性を同時に最大化できないことを示す。
減衰スイープは、最も大きなリャプノフ指数モノトンを発見し、明確に定義された安定性のフロアでゼロを横断する。
このコントリビューションは、物理的基質が凍結する際のトレーニングの確認された説明である。
論文 参考訳（メタデータ） (2026-06-07T14:46:09Z) - Gradient descent at the Edge of Stability: free energy model and kinetic description of the two-layer network [0.0]
安定状態のエッジにおける勾配降下のダイナミクスについて検討する。
平均軌道の進化を追跡する連続時間有効モデルを提案する。
この方程式は、マクロ自由エネルギーのワッサーシュタイン2勾配流と解釈できる。
論文 参考訳（メタデータ） (2026-06-03T18:11:33Z) - Dynamics of Stochastic Momentum with Sparse Updates in High Dimensions [5.674162165646654]
既存の運動量理論は、勾配がほぼ一定の速度で全てのパラメータに到達すると仮定する。
スパース更新下での2つの運動量モデルの運動力学を理論的に解析する。
論文 参考訳（メタデータ） (2026-05-27T18:06:41Z) - DistillKac: Few-Step Image Generation via Damped Wave Equations [83.5291918320052]
減衰波方程式とKac表現を用いて有限速で確率質量を移動させる高速画像生成装置であるDistillKacを提案する。
逆時間速度が硬く、暗黙的に非有界伝播速度を許容する拡散モデルとは対照的に、Kac力学は有限速度輸送を強制し、大域的有界運動エネルギーを得る。
論文 参考訳（メタデータ） (2025-09-25T20:04:41Z) - A Physics-Inspired Optimizer: Velocity Regularized Adam [9.38448580878081]
深層ニューラルネットワークのトレーニングにVelocity-Regularized Adamvolution(VRAdam)を導入する。
VRAdamは、速度に基づいて学習率により高い順序のペナルティを加える。
我々は、AdamWを含む標準凸に対してVRAdamが性能を上回ることを示した。
論文 参考訳（メタデータ） (2025-05-19T14:51:40Z) - Good regularity creates large learning rate implicit biases: edge of
stability, balancing, and catapult [49.8719617899285]
非最適化のための客観的降下に適用された大きな学習速度は、安定性の端を含む様々な暗黙のバイアスをもたらす。
この論文は降下の初期段階を示し、これらの暗黙の偏見が実際には同じ氷山であることを示す。
論文 参考訳（メタデータ） (2023-10-26T01:11:17Z) - Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
運動量に基づく最適化アルゴリズムは 特に広まりました
本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。
また、画像分類問題において畳み込みニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2022-09-08T10:46:05Z) - Gradient Descent on Neural Networks Typically Occurs at the Edge of
Stability [94.4070247697549]
ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。
この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
論文 参考訳（メタデータ） (2021-02-26T22:08:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。