論文の概要: Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case

• arxiv url: http://arxiv.org/abs/2307.11782v1
• Date: Thu, 20 Jul 2023 12:02:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 19:46:28.394303
• Title: Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
• Title（参考訳）: 非凸対象に対するアダムの収束性:緩和ハイパーパラメータと非エルゴードケース
• Authors: Meixuan He, Yuqing Liang, Jinlan Liu and Dongpo Xu
• Abstract要約: 本稿では,バニラ・アダムの収束と非エルゴード収束の課題について考察する。 これらの発見は、非ゴーディック最適化問題を解くために、Adamの確固たる理論基盤を構築する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adam is a commonly used stochastic optimization algorithm in machine learning. However, its convergence is still not fully understood, especially in the non-convex setting. This paper focuses on exploring hyperparameter settings for the convergence of vanilla Adam and tackling the challenges of non-ergodic convergence related to practical application. The primary contributions are summarized as follows: firstly, we introduce precise definitions of ergodic and non-ergodic convergence, which cover nearly all forms of convergence for stochastic optimization algorithms. Meanwhile, we emphasize the superiority of non-ergodic convergence over ergodic convergence. Secondly, we establish a weaker sufficient condition for the ergodic convergence guarantee of Adam, allowing a more relaxed choice of hyperparameters. On this basis, we achieve the almost sure ergodic convergence rate of Adam, which is arbitrarily close to $o(1/\sqrt{K})$. More importantly, we prove, for the first time, that the last iterate of Adam converges to a stationary point for non-convex objectives. Finally, we obtain the non-ergodic convergence rate of $O(1/K)$ for function values under the Polyak-Lojasiewicz (PL) condition. These findings build a solid theoretical foundation for Adam to solve non-convex stochastic optimization problems.
• Abstract（参考訳）: adamは機械学習でよく使われる確率最適化アルゴリズムである。 しかし、その収束は、特に非凸設定において完全には理解されていない。 本稿では,バニラ・アダムの収束のためのハイパーパラメータ設定の検討と,非エルゴード収束の課題に取り組む。 まず、エルゴード収束と非エルゴード収束の正確な定義を導入し、確率的最適化アルゴリズムの収束のほぼ全ての形態をカバーする。 一方,エルゴード収束に対する非エルゴード収束の優位性を強調する。 第二に、アダムのエルゴード収束を保証するためのより弱い条件を確立し、より緩和されたハイパーパラメータの選択を可能にする。 このことから、adam のほぼ確実にエルゴード収束率を達成し、これは任意に $o(1/\sqrt{k})$ に近い。 さらに重要なことは、Adamの最後の反復が非凸目的に対して定常点に収束することを初めて証明したことである。 最後に、polyak-lojasiewicz (pl) 条件下で関数値に対する非エルゴード収束速度は$o(1/k)$を得る。 これらの結果は、Adamが非凸確率最適化問題を解くための確かな理論基盤を構築している。

関連論文リスト

• Convergence Guarantees for RMSProp and Adam in Generalized-smooth Non-convex Optimization with Affine Noise Variance [23.112775335244258]
  我々はまず,適応学習率を持つAdamの特殊なケースであるRMSPropを分析する。 我々は、勾配ノルムの関数でもある降下補題において、新しい上界一階項を開発する。 RMSPropとAdamの両者の結果は、citearvani2023lowerで確立された複雑さと一致した。
  論文  参考訳（メタデータ） (2024-04-01T19:17:45Z)
• On the Convergence of Adam under Non-uniform Smoothness: Separability from SGDM and Beyond [35.65852208995095]
  我々は,非一様有界な滑らかさの条件下で,AdamがSGDMよりも高速な収束を実現することを示した。 その結果,(1)決定論的環境下では,Adamは決定論的一階の収束率の既知下限を達成でき,一方,GDM(Gradient Descent with Momentum)の収束率は初期関数値に高い順序依存性を持つことがわかった。
  論文  参考訳（メタデータ） (2024-03-22T11:57:51Z)
• Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
  我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。 本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
  論文  参考訳（メタデータ） (2023-10-27T09:16:58Z)
• UAdam: Unified Adam-Type Algorithmic Framework for Non-Convex Stochastic Optimization [20.399244578926474]
  我々は,Adam型アルゴリズム(UAdam)の統一フレームワークを導入する。 これは、NAdamBound、AdaFom、Adanといった2階のモーメントの一般的な形式を備えている。 UAdam が定常点の近傍に収束して $mathcalO (1/T)$ となることを示す。
  論文  参考訳（メタデータ） (2023-05-09T13:07:03Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。