論文の概要: Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate

• arxiv url: http://arxiv.org/abs/2604.08742v1
• Date: Thu, 09 Apr 2026 20:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.565013
• Title: Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
• Title（参考訳）: Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate
• Authors: Yaxin Yu, Long Chen, Zeyi Xu,
• Abstract要約: アダムは経験的成功を強く達成しているが、その理論は決定論的完全バッチの設定においても不完全である。 本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。 これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。
• 参考スコア（独自算出の注目度）: 7.396660927040262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adam has achieved strong empirical success, but its theory remains incomplete even in the deterministic full-batch setting, largely because adaptive preconditioning and momentum are tightly coupled. In this work, a convergent reformulation of full-batch Adam is developed by combining variable and operator splitting with a curvature-aware gradient correction. This leads to a continuous-time Adam-HNAG flow with an exponentially decaying Lyapunov function, as well as two discrete methods: Adam-HNAG, and Adam-HNAG-s, a synchronous variant closer in form to Adam. Within a unified Lyapunov analysis framework, convergence guarantees are established for both methods in the convex smooth setting, including accelerated convergence. Numerical experiments support the theory and illustrate the different empirical behavior of the two discretizations. To the best of our knowledge, this provides the first convergence proof for Adam-type methods in convex optimization.
• Abstract（参考訳）: アダムは経験的成功を強く達成しているが、適応的前提条件と運動量が密結合しているため、決定論的完全バッチ設定においてもその理論は不完全である。 本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。 これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。 統一されたリアプノフ解析フレームワーク内では、加速収束を含む凸滑らかな設定において、両方の方法に対して収束保証が確立される。 数値実験は、この理論を支持し、2つの離散化の異なる経験的挙動を説明する。 我々の知る限りでは、このことは凸最適化におけるアダム型手法の最初の収束証明となる。

関連論文リスト

• A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD [28.905886549938305]
  本稿では,Adamの収束特性を解析するための,新しい包括的枠組みを提案する。 我々は、アダムが漸近的でない複雑性サンプルを勾配降下の値と類似して得ることを示す。
  論文  参考訳（メタデータ） (2024-10-06T12:15:00Z)
• Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
  我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。 本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
  論文  参考訳（メタデータ） (2023-10-27T09:16:58Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
  アダムは急速に収束するため、実用的な用途で広く採用されている。 アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。 本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
  論文  参考訳（メタデータ） (2022-08-21T14:57:47Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。