論文の概要: On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/1808.05671v4
• Date: Thu, 20 Jun 2024 16:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-23 17:53:14.364659
• Title: On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
• Title（参考訳）: 非凸最適化のための適応勾配法の収束性について
• Authors: Dongruo Zhou, Jinghui Chen, Yuan Cao, Ziyan Yang, Quanquan Gu,
• Abstract要約: 我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
• 参考スコア（独自算出の注目度）: 80.03647903934723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive gradient methods are workhorses in deep learning. However, the convergence guarantees of adaptive gradient methods for nonconvex optimization have not been thoroughly studied. In this paper, we provide a fine-grained convergence analysis for a general class of adaptive gradient methods including AMSGrad, RMSProp and AdaGrad. For smooth nonconvex functions, we prove that adaptive gradient methods in expectation converge to a first-order stationary point. Our convergence rate is better than existing results for adaptive gradient methods in terms of dimension. In addition, we also prove high probability bounds on the convergence rates of AMSGrad, RMSProp as well as AdaGrad, which have not been established before. Our analyses shed light on better understanding the mechanism behind adaptive gradient methods in optimizing nonconvex objectives.
• Abstract（参考訳）: 適応勾配法は、ディープラーニングにおけるワークホースである。 しかし、非凸最適化のための適応勾配法の収束保証は十分に研究されていない。 本稿では, AMSGrad, RMSProp, AdaGrad を含む適応勾配法の一般クラスに対して, 微細収束解析を行う。 滑らかな非凸関数に対しては、期待値の適応勾配法が一階定常点に収束することを証明する。 我々の収束率は、次元の観点からの適応的勾配法に対する既存の結果よりも優れている。 さらに, AMSGrad, RMSProp, AdaGrad の収束速度と, これまでに確立されていない AdaGrad の収束率に高い確率境界を証明した。 本分析では,非凸目標の最適化における適応勾配法の背後にあるメカニズムの理解を深めた。

関連論文リスト

• A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality [5.35599092568615]
  AdaGrad と Adam は、コスト関数が滑らかで、Polyak-Lojasiewicz の不等式を満たすときに線型収束することを示す。 我々のフレームワークは、他の変種Adamの線形収束解析に利用できる可能性がある。
  論文  参考訳（メタデータ） (2024-07-17T14:56:21Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance [46.15915820243487]
  AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。 AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。
  論文  参考訳（メタデータ） (2022-02-11T17:37:54Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Constrained and Composite Optimization via Adaptive Sampling Methods [3.4219044933964944]
  本論文の動機は,制約付き最適化問題を解くための適応サンプリング手法を開発することにある。 本論文で提案する手法は、f が凸(必ずしも微分可能ではない)である合成最適化問題 min f(x) + h(x) にも適用できる近位勾配法である。
  論文  参考訳（メタデータ） (2020-12-31T02:50:39Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Adaptive Gradient Methods for Constrained Convex Optimization and Variational Inequalities [32.51470158863247]
  AdaACSAとAdaAGD+は制約付き凸最適化の高速化手法である。 我々はこれらを、同じ特徴を享受し、標準の非加速収束率を達成する、より単純なアルゴリズムAdaGrad+で補完する。
  論文  参考訳（メタデータ） (2020-07-17T09:10:21Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。