論文の概要: Towards Understanding Adam Convergence on Highly Degenerate Polynomials
- arxiv url: http://arxiv.org/abs/2603.09581v1
- Date: Tue, 10 Mar 2026 12:30:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.302996
- Title: Towards Understanding Adam Convergence on Highly Degenerate Polynomials
- Title（参考訳）: 高退化多項式におけるアダム収束の理解に向けて
- Abstract要約: アダムの「自然」自己収束特性について検討する。
我々は、アダムがスケジューラを追加せずに自動的に収束する高度退化のクラスを見つける。
アダムがこれらの関数の局所線型収束を退化させ、グラディエント Descent と Momentum の部分収束を著しく上回っていることを証明した。
- 参考スコア（独自算出の注目度）: 12.224244942795695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adam is a widely used optimization algorithm in deep learning, yet the specific class of objective functions where it exhibits inherent advantages remains underexplored. Unlike prior studies requiring external schedulers and $β_2$ near 1 for convergence, this work investigates the "natural" auto-convergence properties of Adam. We identify a class of highly degenerate polynomials where Adam converges automatically without additional schedulers. Specifically, we derive theoretical conditions for local asymptotic stability on degenerate polynomials and demonstrate strong alignment between theoretical bounds and experimental results. We prove that Adam achieves local linear convergence on these degenerate functions, significantly outperforming the sub-linear convergence of Gradient Descent and Momentum. This acceleration stems from a decoupling mechanism between the second moment $v_t$ and squared gradient $g_t^2$, which exponentially amplifies the effective learning rate. Finally, we characterize Adam's hyperparameter phase diagram, identifying three distinct behavioral regimes: stable convergence, spikes, and SignGD-like oscillation.
- Abstract（参考訳）: アダムはディープラーニングにおいて広く使われている最適化アルゴリズムであるが、固有の優位性を示す目的関数の特定のクラスは未探索のままである。
外部スケジューラと収束のための$β_2$近辺1を必要とする以前の研究とは異なり、この研究はアダムの「自然な」自己収束特性を研究する。
我々は、アダムが余分なスケジューラなしで自動的に収束する高退化多項式のクラスを同定する。
具体的には、退化多項式の局所漸近安定性の理論条件を導出し、理論境界と実験結果の強い整合性を示す。
我々はAdamがこれらの退化関数の局所線型収束を達成し、グラディエント Descent と Momentum の線型収束を著しく上回っていることを証明した。
この加速は、第2モーメント$v_t$と2乗勾配$g_t^2$の分離機構に起因し、有効学習率を指数関数的に増幅する。
最後に、アダムのハイパーパラメータ・フェーズ・ダイアグラムを特徴付け、安定収束、スパイク、SignGDのような振動の3つの異なる行動状態を特定する。
関連論文リスト
- Convergence of Steepest Descent and Adam under Non-Uniform Smoothness [9.95160888054888]
分離可能なデータに対するロジスティック回帰では、RMSPropとAdamは線形収束し、GDよりも確実に高速であることを示す。
また、分離可能なデータ上の2層ニューラルネットワークのクラスに対して、RMSPropとAdamは定数のステップサイズと運動量パラメータで線形速度で収束可能であることを示す。
論文 参考訳（メタデータ） (2026-05-28T23:05:45Z) - Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer [1.9015962471041752]
我々は、アダムが収束する単純二次強凸 SOP のクラスを、勾配ステップの数が無限大に増加するにつれて証明する。
特に、SOP の確率変数が対称分布でない標準的な場合、アダムが SOP の最小値に収束すると、アダムのステップの数が無限大に増加する。
論文 参考訳（メタデータ） (2025-11-10T03:45:32Z) - High Probability Convergence of Adam Under Unbounded Gradients and
Affine Variance Noise [4.9495085874952895]
我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。
また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
論文 参考訳（メタデータ） (2023-11-03T15:55:53Z) - Closing the Gap Between the Upper Bound and the Lower Bound of Adam's
Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。
本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文 参考訳（メタデータ） (2023-10-27T09:16:58Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳（メタデータ） (2022-06-08T21:32:50Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。
我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
論文 参考訳（メタデータ） (2021-12-07T02:47:58Z) - A Qualitative Study of the Dynamic Behavior for Adaptive Gradient
Algorithms [12.865834066050427]
RMSpropとAdamのアルゴリズムは、注意深い数値実験と理論的説明を組み合わせることで研究されている。
トレーニング損失曲線では, 早期収束, 発振, 大スパイクの3種類の定性的特徴が観察された。
論文 参考訳（メタデータ） (2020-09-14T00:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。