論文の概要: Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator

• arxiv url: http://arxiv.org/abs/2104.14840v5
• Date: Sat, 09 Nov 2024 18:13:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:03:38.054931
• Title: Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator
• Title（参考訳）: 移動平均推定器を用いた適応最適化のための統一収束解析
• Authors: Zhishuai Guo, Yi Xu, Wotao Yin, Rong Jin, Tianbao Yang,
• Abstract要約: 1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
• 参考スコア（独自算出の注目度）: 75.05106948314956
• License:
• Abstract: Although adaptive optimization algorithms have been successful in many applications, there are still some mysteries in terms of convergence analysis that have not been unraveled. This paper provides a novel non-convex analysis of adaptive optimization to uncover some of these mysteries. Our contributions are three-fold. First, we show that an increasing or large enough momentum parameter for the first-order moment used in practice is sufficient to ensure the convergence of adaptive algorithms whose adaptive scaling factors of the step size are bounded. Second, our analysis gives insights for practical implementations, e.g., increasing the momentum parameter in a stage-wise manner in accordance with stagewise decreasing step size would help improve the convergence. Third, the modular nature of our analysis allows its extension to solving other optimization problems, e.g., compositional, min-max and bilevel problems. As an interesting yet non-trivial use case, we present algorithms for solving non-convex min-max optimization and bilevel optimization that do not require using large batches of data to estimate gradients or double loops as the literature do. Our empirical studies corroborate our theoretical results.
• Abstract（参考訳）: 適応最適化アルゴリズムは多くのアプリケーションで成功したが、収束解析に関してまだ解明されていない謎がいくつか残っている。 本稿では,これらの謎のいくつかを明らかにするために,適応最適化の非凸解析を行う。 私たちの貢献は3倍です。 まず, ステップサイズの適応的スケーリング係数が有界である適応アルゴリズムの収束を確保するために, 実際に使用される一階モーメントの増大あるいは十分な運動量パラメータが十分であることを示す。 第2に,段階的に減少するステップサイズに応じて運動量パラメータを段階的に増加させることにより,収束性の向上が期待できる。 第三に、解析のモジュラー性は、他の最適化問題(例えば、合成問題、min-max問題、双レベル問題)への拡張を可能にする。 興味深いが非自明なユースケースとして、文献のように勾配や二重ループを推定するために大量のデータを使う必要のない、非凸のmin-max最適化と双レベル最適化を解くアルゴリズムを提案する。 我々の実証研究は我々の理論結果を裏付ける。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions [26.543628010637036]
  非函数に対して$mathcalO(log T)$の最適収束率を達成する新しい適応還元法を導入する。 また、提案手法を拡張して、合成最適化のために$mathcalO(log T)$と同じ最適率を得る。
  論文  参考訳（メタデータ） (2024-06-04T04:39:51Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization [23.355249183979907]
  そこで本研究では, [7] におけるハイブリッド分散法の新しい変種を提案し, 標準仮定の下での共通合成非還元問題の解法を提案する。 我々は, [7] に導入した独立な非バイアス推定器を, 同一試料の勾配によって置き換える。 私たちの分析は基本的に[7]にインスパイアされていますが、2つの異なるステップサイズを使用しません。
  論文  参考訳（メタデータ） (2020-08-20T16:15:12Z)
• Stochastic Proximal Gradient Algorithm with Minibatches. Application to Large Scale Learning Models [2.384873896423002]
  非滑らかな成分を持つ汎用合成対象関数に対する勾配アルゴリズムのミニバッチ変種を開発し解析する。 我々は、最小バッチサイズ$N$に対して、$mathcalO(frac1Nepsilon)$$epsilon-$subityが最適解に期待される二次距離で達成されるような、定数および変数のステップサイズ反復ポリシーの複雑さを提供する。
  論文  参考訳（メタデータ） (2020-03-30T10:43:56Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。