論文の概要: Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems

• arxiv url: http://arxiv.org/abs/2002.09621v1
• Date: Sat, 22 Feb 2020 04:20:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 19:02:14.269932
• Title: Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
• Title（参考訳）: 非凸非凸ミニマックス問題に対する大域収束と分散縮小最適化
• Authors: Junchi Yang, Negar Kiyavash, Niao He
• Abstract要約: 非minimaxewicz問題は、生成的対向ネットワークと対向学習の応用において頻繁に現れる。 一定の大きさのGDAアルゴリズムは凸設定でも潜在的に分岐する可能性がある。 AGDAアルゴリズムは、サブレートに達する速度でグローバルに収束する。
• 参考スコア（独自算出の注目度）: 39.13924898972611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nonconvex minimax problems appear frequently in emerging machine learning applications, such as generative adversarial networks and adversarial learning. Simple algorithms such as the gradient descent ascent (GDA) are the common practice for solving these nonconvex games and receive lots of empirical success. Yet, it is known that these vanilla GDA algorithms with constant step size can potentially diverge even in the convex setting. In this work, we show that for a subclass of nonconvex-nonconcave objectives satisfying a so-called two-sided Polyak-{\L}ojasiewicz inequality, the alternating gradient descent ascent (AGDA) algorithm converges globally at a linear rate and the stochastic AGDA achieves a sublinear rate. We further develop a variance reduced algorithm that attains a provably faster rate than AGDA when the problem has the finite-sum structure.
• Abstract（参考訳）: 非凸ミニマックス問題は、生成的対向ネットワークや対向学習などの新興機械学習アプリケーションに頻繁に現れる。 勾配降下上昇(GDA)のような単純なアルゴリズムは、これらの非凸ゲームを解決するための一般的な手法であり、多くの経験的成功を得る。 しかし、これらのベニラGDAアルゴリズムは、凸設定においても、一定のステップサイズで分散することができることが知られている。 本研究では,いわゆる2面のPolyak-{\L}ojasiewicz不等式を満たす非凸・非凸対象のサブクラスに対して,交互勾配勾配勾配上昇(AGDA)アルゴリズムが線形速度でグローバルに収束し,確率AGDAが線形速度を達成することを示す。 さらに,この問題が有限和構造を持つ場合,agdaよりも確実に高速となる分散低減アルゴリズムを考案する。

関連論文リスト

• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization [27.07082875330508]
  制約のない不等式問題は、マルチクラスネイマンオラクルのような多くの機械学習問題をモデル化するために用いられる。 このような緩やかな規則性の条件下では、値損失の交互化と制約違反の低減のバランスをとることは困難である。 本稿では,新しい不等式制約問題アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-12T16:30:34Z)
• Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning [12.069630105460766]
  AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。 本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-22T04:33:27Z)
• Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
  大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-18T09:42:05Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Train simultaneously, generalize better: Stability of gradient-based minimax learners [12.691047660244331]
  コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。 学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
  論文  参考訳（メタデータ） (2020-10-23T17:44:43Z)
• Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems [10.112779201155005]
  3つの古典的ミニマックスアルゴリズム(AGDA, AscentGDA, Exgradient Method, EGM)の制限挙動について検討する。 本稿では,GAN(Generative Adrial Networks)において,全ての制限行動が発生しうることを数値的に観察し,様々なGAN問題に対して容易に実演できることを示す。
  論文  参考訳（メタデータ） (2020-10-20T21:14:51Z)
• Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties [10.913266721195916]
  ネステロフの加速シミュレーション(AG)は、対物関数を2つ、凸損失とペナルティ関数の2つに最適化する一般的な手法である。 最近のNesterov's AGの提案は一般化しているが、統計学習問題には適用されていない。 本稿では,非AGアルゴリズムを高次元かつスパースな統計的学習問題に適用することを検討する。
  論文  参考訳（メタデータ） (2020-09-22T15:37:09Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。