論文の概要: Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems

• arxiv url: http://arxiv.org/abs/2106.10022v1
• Date: Fri, 18 Jun 2021 09:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 21:52:34.296607
• Title: Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems
• Title（参考訳）: 確率凸凸ミニマックス問題に対する局所アダグラード型アルゴリズム
• Authors: Luofeng Liao, Li Shen, Jia Duan, Mladen Kolar, Dacheng Tao
• Abstract要約: 大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
• 参考スコア（独自算出の注目度）: 80.46370778277186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large scale convex-concave minimax problems arise in numerous applications, including game theory, robust training, and training of generative adversarial networks. Despite their wide applicability, solving such problems efficiently and effectively is challenging in the presence of large amounts of data using existing stochastic minimax methods. We study a class of stochastic minimax methods and develop a communication-efficient distributed stochastic extragradient algorithm, LocalAdaSEG, with an adaptive learning rate suitable for solving convex-concave minimax problem in the Parameter-Server model. LocalAdaSEG has three main features: (i) periodic communication strategy reduces the communication cost between workers and the server; (ii) an adaptive learning rate that is computed locally and allows for tuning-free implementation; and (iii) theoretically, a nearly linear speed-up with respect to the dominant variance term, arising from estimation of the stochastic gradient, is proven in both the smooth and nonsmooth convex-concave settings. LocalAdaSEG is used to solve a stochastic bilinear game, and train generative adversarial network. We compare LocalAdaSEG against several existing optimizers for minimax problems and demonstrate its efficacy through several experiments in both the homogeneous and heterogeneous settings.
• Abstract（参考訳）: 大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 その適用範囲は広いが、既存の確率的ミニマックス法を用いて大量のデータが存在する場合、効率的かつ効果的に解決することは困難である。 パラメーターサーバモデルにおける凸凹最小値問題の解法に適した適応学習率を用いて,確率最小値のクラスを調査し,通信効率のよい分散確率極値分解アルゴリズムであるLocalAdaSEGを開発した。 localadasegには3つの主な特徴がある: (i) 周期的通信戦略は、ワーカーとサーバ間の通信コストを削減し、 (ii) ローカルに計算され、チューニングフリーな実装を可能にする適応的学習率、そして (iii) 理論的には、確率的勾配の推定から生じる支配的分散項に対するほぼ線形なスピードアップは、滑らかな凸凸凹設定の両方において証明される。 LocalAdaSEGは確率的双線形ゲームを解くために使われ、生成的敵ネットワークを訓練する。 そこで我々はLocalAdaSEGを,ミニマックス問題に対するいくつかの既存最適化器と比較し,同種および異種両方の設定において,その有効性を示す。

関連論文リスト

• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Federated Minimax Optimization: Improved Convergence Analyses and Algorithms [32.062312674333775]
  我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。 我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-09T16:21:31Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency [15.04034188283642]
  Local SGDは分散学習における通信オーバーヘッドを克服するための有望なアプローチである。 局所sgdaは均質データと異質データの両方において分散ミニマックス問題を確実に最適化できることを示す。
  論文  参考訳（メタデータ） (2021-02-25T20:15:18Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic [5.395127324484869]
  SplitSGDは最適化のための新しい動的学習スケジュールである。 本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。 基本的には標準のSGDよりも計算コストがかかるわけではない。
  論文  参考訳（メタデータ） (2019-10-18T19:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。