論文の概要: Provable Edge-of-Stability for Adam on a One-Dimensional Quadratic

• arxiv url: http://arxiv.org/abs/2608.20638v1
• Date: Fri, 21 Aug 2026 00:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.306286
• Title: Provable Edge-of-Stability for Adam on a One-Dimensional Quadratic
• Title（参考訳）: 1次元四面体上のアダムの確率的エッジ・オブ・ステイビリティ
• Abstract要約: 定曲率でEoSの背後にあるエッジ誘起力学を分離するクリーンな環境である1次元二次構造上で,補正されていないアダムについて検討した。 このエッジ探索機構が故障する際、厳密な周期軌道や、最適な軌道に収束する特別に調整された軌道を含む設定を同定する。 これらの結果は、AdamのEoSに対して、損失幾何学を進化させることなく、その限界を露呈する、具体的な力学的な説明を与える。
• 参考スコア（独自算出の注目度）: 4.5845031477639155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The edge-of-stability (EoS) phenomenon of Adam has been widely observed, while its underlying dynamical mechanism is not yet fully understood. We study uncorrected Adam on a one-dimensional quadratic, a clean setting where constant curvature isolates the optimizer-induced dynamics behind the EoS. We characterize the resulting dynamics across the parameter space. In broad regimes, we prove that Adam exhibits a restoring tendency toward its frozen stability threshold $2(1+β_1)/[η(1-β_1)]$. We also identify settings in which this edge-seeking mechanism breaks down, including strictly subcritical periodic orbits and specially tuned trajectories that converge to the optimum while remaining uniformly supercritical. These results give a concrete dynamical explanation for Adam's EoS in a setting free of evolving loss geometry, while also exposing its limitations.
• Abstract（参考訳）: アダムのエッジ・オブ・スタビリティ(EoS)現象は広く観測されているが、その基礎となる力学機構はまだ完全には理解されていない。 本研究では,EoSの背後にあるオプティマイザ誘起力学を一定曲率で分離する,一次元二次構造上の非補正アダムについて検討する。 パラメータ空間にまたがる結果のダイナミクスを特徴付ける。 幅広い状況下では,アダムが凍結安定性閾値2(1+β_1)/[η(1-β_1)]$に対して回復傾向を示すことが証明されている。 また、このエッジ探索機構が故障する際、厳密な周期軌道や、一様に超臨界を維持しながら最適な軌道に収束する特別に調整された軌道を含む設定も特定する。 これらの結果は、AdamのEoSに対して、損失幾何学を進化させることなく、その限界を露呈する、具体的な力学的な説明を与える。

関連論文リスト

• Information Geometric Self-Organization at the Edge of Stability in High-Capacity Kernel Associative Memories [0.0]
  最適高容量メモリ表現は平らなミニマでは形成されず、幾何学的特異点の高度に湾曲した境界で彫刻されていることを示す。 これらの結果は, 平坦なミニマでは最適な高容量メモリ表現は形成されず, 幾何学的特異点の高度に湾曲した境界で動的に彫刻されていることを示唆している。
  論文  参考訳（メタデータ） (2026-09-15T08:27:55Z)
• Geometric Collapse: When Vision Models Fail to Verify Physical Causality [52.43819179934414]
  スクランブルドエッジ(Scrambled Edges)は、サリアントエッジのようなキューを注入する制御されたカウンターファクトである。 エネルギー整合制御と構造整合制御により, 高周波エネルギーとエッジ間隔から支持エッジエビデンスの効果を分離する。 CNN/ViT/SSL深度予測器を通して、Scrambled Edgesはエネルギー整合ノイズよりもクリーンな予測から最大3.2倍大きな偏差を誘導する。
  論文  参考訳（メタデータ） (2026-07-08T00:04:02Z)
• Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts [60.95873409673775]
  連続時間潜在微分方程式モデルにおける識別可能性はほとんど開のままである。 未知の非線形微分同相を通じて観測される付加ノイズ潜在SDEについて検討した。 本稿では,2段階の遅延不整合とグラフ復元のための推定器を提案する。
  論文  参考訳（メタデータ） (2026-06-26T16:18:28Z)
• Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability [11.598128347617957]
  安定の端における勾配降下ダイナミクス(EoS)のトラクタブルで忠実で予測的なモデルを提案する。 We show that Edge Flow track the dynamics of gradient descent least to faithfully as previously proposed continuous-time EoS model。
  論文  参考訳（メタデータ） (2026-06-16T15:45:47Z)
• High-Dimensional Latents Should Be Diagnosed Through Phase Structure [56.362776482614976]
  スピングラス理論のレンズによるオートエンコーダと変分オートエンコーダの潜在空間について検討した。 固定復号器用の潜時空間スピングラス辞書を定式化する。 トポロジカルな自明化機構のエッジ・オブ・ステイティに向けて潜伏系を駆動することは、下流に具体的な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-05-23T06:17:23Z)
• A Rod Flow Model for Adam at the Edge of Stability [9.11122093402205]
  パラメータと第一モーメント $(w, m) のジョイント位相空間で作業することで、ロッドフローをアダムに拡張する。 また, 重い球運動量に対するロッドフローの開発も行っている。 8ドルでは、代表的機械学習アーキテクチャ上でのロッドフローを実証的に評価する。
  論文  参考訳（メタデータ） (2026-05-07T18:21:59Z)
• AdamO: A Collapse-Suppressed Optimizer for Offline RL [12.482937306811026]
  オフラインの強化学習は、ブートストラップされた時間差分(TD)更新が自身のエラーを増幅し、批評家を極端で使用不能なQ値へと駆り立てると、驚くほど失敗する可能性がある。 我々は、オフラインのTD学習をフィードバックシステムとしてモデル化し、Adamベースの批評家の更新を分析する。 この設計は理論的に最悪の作業の安全性を保証し、Adamの連続発散ダイナミクスを保っていることを証明している。
  論文  参考訳（メタデータ） (2026-05-03T16:53:29Z)
• Towards Understanding Adam Convergence on Highly Degenerate Polynomials [12.224244942795695]
  アダムの「自然」自己収束特性について検討する。 我々は、アダムがスケジューラを追加せずに自動的に収束する高度退化のクラスを見つける。 アダムがこれらの関数の局所線型収束を退化させ、グラディエント Descent と Momentum の部分収束を著しく上回っていることを証明した。
  論文  参考訳（メタデータ） (2026-03-10T12:30:20Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• From Adam to Adam-Like Lagrangians: Second-Order Nonlocal Dynamics [0.0]
  我々は、Adamを2階積分微分力学系としてモデル化することで、加速された連続時間定式化を導出する。 我々は、この慣性非局所モデルと既存の一階非局所アダム流を$$-refinement limitを通して関連付け、リャプノフに基づく安定性と収束解析を提供する。
  論文  参考訳（メタデータ） (2026-02-09T19:00:03Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。