論文の概要: Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
- arxiv url: http://arxiv.org/abs/2604.08742v1
- Date: Thu, 09 Apr 2026 20:09:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.565013
- Title: Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
- Title（参考訳）: Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
- Abstract要約: アダムは経験的成功を強く達成しているが、その理論は決定論的完全バッチの設定においても不完全である。
本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。
これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。
- 参考スコア（独自算出の注目度）: 7.396660927040262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adam has achieved strong empirical success, but its theory remains incomplete even in the deterministic full-batch setting, largely because adaptive preconditioning and momentum are tightly coupled. In this work, a convergent reformulation of full-batch Adam is developed by combining variable and operator splitting with a curvature-aware gradient correction. This leads to a continuous-time Adam-HNAG flow with an exponentially decaying Lyapunov function, as well as two discrete methods: Adam-HNAG, and Adam-HNAG-s, a synchronous variant closer in form to Adam. Within a unified Lyapunov analysis framework, convergence guarantees are established for both methods in the convex smooth setting, including accelerated convergence. Numerical experiments support the theory and illustrate the different empirical behavior of the two discretizations. To the best of our knowledge, this provides the first convergence proof for Adam-type methods in convex optimization.
- Abstract（参考訳）: アダムは経験的成功を強く達成しているが、適応的前提条件と運動量が密結合しているため、決定論的完全バッチ設定においてもその理論は不完全である。
本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。
これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。
統一されたリアプノフ解析フレームワーク内では、加速収束を含む凸滑らかな設定において、両方の方法に対して収束保証が確立される。
数値実験は、この理論を支持し、2つの離散化の異なる経験的挙動を説明する。
我々の知る限りでは、このことは凸最適化におけるアダム型手法の最初の収束証明となる。
関連論文リスト
- Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization [6.759434764396595]
モーメント,適応型プレコンディショニング,曲率-コンディショナー補正を結合するリアプノフ誘導型アダム方式を提案する。
予測された崩壊を検証する実験は、ディープラーニングタスクにおけるAdamとAdamWに対する競争力のあるトレーニングパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-05-13T01:46:23Z) - Towards Understanding Adam Convergence on Highly Degenerate Polynomials [12.224244942795695]
アダムの「自然」自己収束特性について検討する。
我々は、アダムがスケジューラを追加せずに自動的に収束する高度退化のクラスを見つける。
アダムがこれらの関数の局所線型収束を退化させ、グラディエント Descent と Momentum の部分収束を著しく上回っていることを証明した。
論文 参考訳（メタデータ） (2026-03-10T12:30:20Z) - Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer [1.9015962471041752]
我々は、アダムが収束する単純二次強凸 SOP のクラスを、勾配ステップの数が無限大に増加するにつれて証明する。
特に、SOP の確率変数が対称分布でない標準的な場合、アダムが SOP の最小値に収束すると、アダムのステップの数が無限大に増加する。
論文 参考訳（メタデータ） (2025-11-10T03:45:32Z) - A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD [28.905886549938305]
本稿では,Adamの収束特性を解析するための,新しい包括的枠組みを提案する。
我々は、アダムが漸近的でない複雑性サンプルを勾配降下の値と類似して得ることを示す。
論文 参考訳（メタデータ） (2024-10-06T12:15:00Z) - On the Convergence of Adam under Non-uniform Smoothness: Separability from SGDM and Beyond [35.65852208995095]
我々は,非一様有界な滑らかさの条件下で,AdamがSGDMよりも高速な収束を実現することを示した。
その結果,(1)決定論的環境下では,Adamは決定論的一階の収束率の既知下限を達成でき,一方,GDM(Gradient Descent with Momentum)の収束率は初期関数値に高い順序依存性を持つことがわかった。
論文 参考訳（メタデータ） (2024-03-22T11:57:51Z) - Closing the Gap Between the Upper Bound and the Lower Bound of Adam's
Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。
本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文 参考訳（メタデータ） (2023-10-27T09:16:58Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
アダムは急速に収束するため、実用的な用途で広く採用されている。
アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。
本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
論文 参考訳（メタデータ） (2022-08-21T14:57:47Z) - A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。
我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
論文 参考訳（メタデータ） (2021-12-07T02:47:58Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-11-24T09:28:53Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。