論文の概要: TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization

• arxiv url: http://arxiv.org/abs/2210.17478v1
• Date: Mon, 31 Oct 2022 17:05:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 16:33:46.786218
• Title: TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
• Title（参考訳）: tiada:非凸ミニマックス最適化のための時間スケール適応アルゴリズム
• Authors: Xiang Li, Junchi Yang, Niao He
• Abstract要約: 適応的手法は、パラメータに依存しない方法でハエの段差を調整する能力を示した。 非凹極小問題に対する勾配上昇の電流収束解析にはパラメータの注意深くチューニングが必要である。
• 参考スコア（独自算出の注目度）: 24.784754071913255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive gradient methods have shown their ability to adjust the stepsizes on the fly in a parameter-agnostic manner, and empirically achieve faster convergence for solving minimization problems. When it comes to nonconvex minimax optimization, however, current convergence analyses of gradient descent ascent (GDA) combined with adaptive stepsizes require careful tuning of hyper-parameters and the knowledge of problem-dependent parameters. Such a discrepancy arises from the primal-dual nature of minimax problems and the necessity of delicate time-scale separation between the primal and dual updates in attaining convergence. In this work, we propose a single-loop adaptive GDA algorithm called TiAda for nonconvex minimax optimization that automatically adapts to the time-scale separation. Our algorithm is fully parameter-agnostic and can achieve near-optimal complexities simultaneously in deterministic and stochastic settings of nonconvex-strongly-concave minimax problems. The effectiveness of the proposed method is further justified numerically for a number of machine learning applications.
• Abstract（参考訳）: アダプティブ・グラデーション(adaptive gradient)法は、パラメータに依存しない方法でステップを調節する能力を示し、最小化問題を解決するために経験的により高速な収束を達成する。 しかし、非凸極小最適化に関しては、勾配降下上昇(GDA)の電流収束解析と適応段階の組合せは、ハイパーパラメータの注意深いチューニングと問題依存パラメータの知識を必要とする。 このような矛盾は、ミニマックス問題の原始双対性と収束を達成する際に原始更新と二重更新の間の微妙な時間スケール分離の必要性から生じる。 本研究では,非凸最小値最適化のための単一ループ適応型GDAアルゴリズムTiAdaを提案する。 提案アルゴリズムはパラメータ非依存であり,非凸強凸最小値問題の決定的および確率的設定において,ほぼ最適複素量を実現することができる。 提案手法の有効性は、多数の機械学習アプリケーションに対して数値的に正当化される。

関連論文リスト

• On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms [4.307128674848627]
  AdaPG$q,r$は、より大きな段階的なポリシーと改善された下位境界を提供することで、既存の結果を統一し、拡張するフレームワークである。 パラメータの$q$と$r$の異なる選択について論じ、数値シミュレーションにより結果の有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-30T10:29:43Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Near-Optimal Algorithms for Making the Gradient Small in Stochastic Minimax Optimization [14.719077076351377]
  本研究では,スムーズなミニマックス最適化のための準定常点を求める問題について検討する。 Recursive IteratioNRAINと呼ばれる新しいアルゴリズムは凸凹と強凹の両方のケースを実現する。
  論文  参考訳（メタデータ） (2022-08-11T16:55:26Z)
• Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization [24.784754071913255]
  AdaGradやAMSのような適応アルゴリズムは、非特異なパラメータの堅牢性に成功している。 我々はNeAdaが最適に近いレベルの知識を実現できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T20:11:05Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。