論文の概要: A Decentralized Adaptive Momentum Method for Solving a Class of Min-Max Optimization Problems

• arxiv url: http://arxiv.org/abs/2106.06075v1
• Date: Thu, 10 Jun 2021 22:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:24:28.285071
• Title: A Decentralized Adaptive Momentum Method for Solving a Class of Min-Max Optimization Problems
• Title（参考訳）: min-max最適化問題の解法に対する分散適応運動量法
• Authors: Babak Barazandeh, Tianjian Huang, George Michailidis
• Abstract要約: 我々は、min-max最適化問題を解決するために、分散適応運動量 (ADAM) 型アルゴリズムを開発した。 我々は、(確率的な)一階のナッシュ平衡点を求めるための提案アルゴリズムの非漸近収束率を求める。
• 参考スコア（独自算出の注目度）: 9.653157073271021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Min-max saddle point games have recently been intensely studied, due to their wide range of applications, including training Generative Adversarial Networks~(GANs). However, most of the recent efforts for solving them are limited to special regimes such as convex-concave games. Further, it is customarily assumed that the underlying optimization problem is solved either by a single machine or in the case of multiple machines connected in centralized fashion, wherein each one communicates with a central node. The latter approach becomes challenging, when the underlying communications network has low bandwidth. In addition, privacy considerations may dictate that certain nodes can communicate with a subset of other nodes. Hence, it is of interest to develop methods that solve min-max games in a decentralized manner. To that end, we develop a decentralized adaptive momentum (ADAM)-type algorithm for solving min-max optimization problem under the condition that the objective function satisfies a Minty Variational Inequality condition, which is a generalization to convex-concave case. The proposed method overcomes shortcomings of recent non-adaptive gradient-based decentralized algorithms for min-max optimization problems that do not perform well in practice and require careful tuning. In this paper, we obtain non-asymptotic rates of convergence of the proposed algorithm (coined DADAM$^3$) for finding a (stochastic) first-order Nash equilibrium point and subsequently evaluate its performance on training GANs. The extensive empirical evaluation shows that DADAM$^3$ outperforms recently developed methods, including decentralized optimistic stochastic gradient for solving such min-max problems.
• Abstract（参考訳）: ミニマックスサドルポイントゲームは、GANs(Generative Adversarial Networks)のトレーニングを含む幅広い応用のために、最近激しく研究されている。 しかし、近年の課題の多くは凸凹型ゲームのような特殊な制度に限られている。 さらに、基礎となる最適化問題は、一台のマシンか、複数のマシンが中央ノードと通信する集中型方式で接続された場合のいずれかで解決されると、慣例的に仮定される。 通信ネットワークの帯域幅が低くなると,後者のアプローチは困難になる。 さらに、プライバシーに関する考慮は、特定のノードが他のノードのサブセットと通信できることを規定するかもしれない。 したがって、min-maxゲームを分散的に解く方法の開発が注目される。 そこで本研究では,目的関数が凸凹の場合の一般化であるミント変分不等式条件を満たすことを条件として,min-max最適化問題を解く分散適応運動量(adam)型アルゴリズムを開発した。 提案手法は,近年の非適応的勾配に基づく分散アルゴリズムの欠点を克服するものである。 本稿では,(確率的に)一階ナッシュ平衡点を求めるアルゴリズム(dadam$^3$)の非漸近的収束率を求め,学習gansの性能評価を行う。 DADAM$^3$が最近開発された手法として, 分散型楽観的確率勾配を用いた分極化法がある。

関連論文リスト

• Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
  通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。 この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。 我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-28T10:28:45Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Solving a class of non-convex min-max games using adaptive momentum methods [9.538456363995161]
  適応運動量法はディープニューラルネットワークに多くの注目を集めている。 本稿では,敵対ネットワークにおける適応運動量最小最適化問題を提案する。 実験の結果, vis-avis法が優れていることがわかった。
  論文  参考訳（メタデータ） (2021-04-26T16:06:39Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。