論文の概要: AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization

• arxiv url: http://arxiv.org/abs/2106.16101v2
• Date: Thu, 1 Jul 2021 18:50:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:06:23.082114
• Title: AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
• Title（参考訳）: adagda: minimax最適化のための適応勾配降下昇降法
• Authors: Feihu Huang and Heng Huang
• Abstract要約: 本稿では,非コンケーブ最小値問題に対する高速適応勾配降下法を提案する。 我々は,本手法が,ミニバッチサイズが$O(kappa2.5epsilon-3)$のより低いサンプル複雑性に達することを示す。
• 参考スコア（独自算出の注目度）: 104.96004056928474
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the paper, we propose a class of faster adaptive gradient descent ascent methods for solving the nonconvex-strongly-concave minimax problems by using unified adaptive matrices used in the SUPER-ADAM \citep{huang2021super}. Specifically, we propose a fast adaptive gradient decent ascent (AdaGDA) method based on the basic momentum technique, which reaches a low sample complexity of $O(\kappa^4\epsilon^{-4})$ for finding an $\epsilon$-stationary point without large batches, which improves the existing result of adaptive minimax optimization method by a factor of $O(\sqrt{\kappa})$. Moreover, we present an accelerated version of AdaGDA (VR-AdaGDA) method based on the momentum-based variance reduced technique, which achieves the best known sample complexity of $O(\kappa^3\epsilon^{-3})$ for finding an $\epsilon$-stationary point without large batches. Further assume the bounded Lipschitz parameter of objective function, we prove that our VR-AdaGDA method reaches a lower sample complexity of $O(\kappa^{2.5}\epsilon^{-3})$ with the mini-batch size $O(\kappa)$. In particular, we provide an effective convergence analysis framework for our adaptive methods based on unified adaptive matrices, which include almost existing adaptive learning rates.
• Abstract（参考訳）: 本稿では,超adam \citep{huang2021 super} で用いられる統一適応行列を用いて,非凸強凹ミニマックス問題を解くための適応勾配降下上昇の高速化法を提案する。 具体的には,基本運動量法に基づく高速適応勾配アセント法 (adagda) を提案し,大規模なバッチを使わずに $\epsilon$-stationary point を求めるために,$o(\kappa^4\epsilon^{-4})$ というサンプルの複雑さを低め,$o(\sqrt{\kappa})$ で適応的ミニマックス最適化法の既存の結果を改善する。 さらに, AdaGDA (VR-AdaGDA) 法を運動量に基づく分散還元法により高速化し, 大規模なバッチを伴わずに$O(\kappa^3\epsilon^{-3})$を$\epsilon$-stationaryの値を求める場合に最もよく知られたサンプル複雑性を実現する。 さらに、対象関数の有界リプシッツパラメータを仮定し、我々のVR-AdaGDA法が、ミニバッチサイズ$O(\kappa^{2.5}\epsilon^{-3})$のより低いサンプル複雑性に達することを証明した。 特に,既存の適応学習率を含む統一適応行列に基づく適応手法に対して,効果的な収束解析フレームワークを提供する。

関連論文リスト

• Enhanced Adaptive Gradient Algorithms for Nonconvex-PL Minimax Optimization [14.579475552088692]
  フレームワーク $aknabla F(x) max_y f(x,y) が $ サンプルを見つけるのに使えることを証明します。 提案手法を効果的に分析する。
  論文  参考訳（メタデータ） (2023-03-07T15:33:12Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• On Riemannian Gradient-Based Methods for Minimax Problems [24.199289678553896]
  ミニマックス問題を解くためのリーマン的手法のクラスを提案する。 我々はRGDAが$tildeO(kappa4eps-3)$であることを示す。 また、Acc-RSGDAが$tildeO(kappa4eps-3)$に対してより低いサンプル複雑性を実現することも示しています。
  論文  参考訳（メタデータ） (2020-10-13T00:54:00Z)
• Accelerated Zeroth-Order and First-Order Momentum Methods from Mini to Minimax Optimization [133.53164856723782]
  そこで我々は,関数値のみが得られるブラックボックス最小最適化のための新しいアクセラレーションゼロ階運動量 (AccZOM) 法を提案する。 一方,ブラックボックス最小値最適化のためのアクセラレーションゼロ階運動量降下法(Acc-MDA)を提案する。 特に、Acc-MDAは、$tildeO(kappa_y2.5epsilon-3)$の低い勾配の複雑さを、バッチサイズ$O(kappa_y4)$で得ることができる。
  論文  参考訳（メタデータ） (2020-08-18T22:19:29Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。