論文の概要: Solving a Class of Non-Convex Minimax Optimization in Federated Learning

• arxiv url: http://arxiv.org/abs/2310.03613v1
• Date: Thu, 5 Oct 2023 15:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 15:44:24.215291
• Title: Solving a Class of Non-Convex Minimax Optimization in Federated Learning
• Title（参考訳）: フェデレーション学習における非凸ミニマックス最適化の解法
• Authors: Xidong Wu, Jianhui Sun, Zhengmian Hu, Aidong Zhang, Heng Huang
• Abstract要約: ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。 本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。 我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
• 参考スコア（独自算出の注目度）: 84.98927714326908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The minimax problems arise throughout machine learning applications, ranging from adversarial training and policy evaluation in reinforcement learning to AUROC maximization. To address the large-scale data challenges across multiple clients with communication-efficient distributed training, federated learning (FL) is gaining popularity. Many optimization algorithms for minimax problems have been developed in the centralized setting (\emph{i.e.} single-machine). Nonetheless, the algorithm for minimax problems under FL is still underexplored. In this paper, we study a class of federated nonconvex minimax optimization problems. We propose FL algorithms (FedSGDA+ and FedSGDA-M) and reduce existing complexity results for the most common minimax problems. For nonconvex-concave problems, we propose FedSGDA+ and reduce the communication complexity to $O(\varepsilon^{-6})$. Under nonconvex-strongly-concave and nonconvex-PL minimax settings, we prove that FedSGDA-M has the best-known sample complexity of $O(\kappa^{3} N^{-1}\varepsilon^{-3})$ and the best-known communication complexity of $O(\kappa^{2}\varepsilon^{-2})$. FedSGDA-M is the first algorithm to match the best sample complexity $O(\varepsilon^{-3})$ achieved by the single-machine method under the nonconvex-strongly-concave setting. Extensive experimental results on fair classification and AUROC maximization show the efficiency of our algorithms.
• Abstract（参考訳）: minimax問題は機械学習アプリケーション全体で発生し、強化学習における敵対的トレーニングや政策評価からオーロラの最大化まで幅広い。 コミュニケーション効率のよい分散トレーニングで、複数のクライアントにまたがる大規模なデータ課題に対処するために、フェデレートラーニング(FL)が人気を集めている。 ミニマックス問題に対する多くの最適化アルゴリズムは、一元的な設定(英語版)で開発されている。 それでも、FLの下でのミニマックス問題のアルゴリズムはまだ未定である。 本稿では,フェデレート非凸ミニマックス最適化問題のクラスについて検討する。 flアルゴリズム(fedsgda+およびfedersgda-m)を提案し、最も一般的なminimax問題に対する既存の複雑性を低減した。 非凸凹問題に対して、FedSGDA+を提案し、通信複雑性を$O(\varepsilon^{-6})$に下げる。 非凸凸および非凸PLミニマックス設定の下では、FedSGDA-Mが$O(\kappa^{3} N^{-1}\varepsilon^{-3})$と$O(\kappa^{2}\varepsilon^{-2})$の最もよく知られた通信複雑性を持つことを示す。 FedSGDA-M は、非凸強凹条件下で単一機械法により達成された最もよいサンプル複雑性 $O(\varepsilon^{-3})$ に適合する最初のアルゴリズムである。 公平な分類とAUROCの最大化に関する大規模な実験結果は,アルゴリズムの効率性を示している。

関連論文リスト

• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems [7.5573375809946395]
  我々は、ピアツーピア通信により、$m$のコンピューティングエージェントのネットワークが協調すると考えている。 我々のアルゴリズムフレームワークは、二変数のコンセンサス制約を取り除くために、アグラジアン乗算器を導入している。 我々の知る限りでは、これはNCSCミニマックス問題に対する収束保証を、原始変数と双対変数の両方に適用する一般の非正規化器で提供する最初の研究である。
  論文  参考訳（メタデータ） (2023-07-14T01:32:16Z)
• PRECISION: Decentralized Constrained Min-Max Learning with Low Communication and Sample Complexities [25.153506493249854]
  min-max最適化問題に対する適応型マルチエージェント学習手法を提案する。 また,反復回数を削減できるPrecisionというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-05T00:26:10Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems [26.676582181833584]
  ミニマックス問題は、多くの機械学習モデルに広く応用されているため、近年大きな注目を集めている。 そこで我々は,アセンチュムミニマックス問題に対する分散分散勾配降下法を新たに開発した。 我々の研究は、この種のミニマックス問題に対してそのような理論的複雑さを最初に達成するものである。
  論文  参考訳（メタデータ） (2022-12-06T03:25:44Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)
• Nonconvex Zeroth-Order Stochastic ADMM Methods with Lower Function Query Complexity [109.54166127479093]
  ゼロ次法(ゼロ次法、英: Zeroth-order method)は、機械学習問題を解決するための効果的な最適化手法のクラスである。 本稿では,非有限項問題を解くために,より高速なゼロ階交互勾配法乗算器 (MMADMM) を提案する。 我々は、ZOMMAD法が、$epsilon$-stationary pointを見つけるために、より低い関数$O(frac13nfrac1)$を達成することができることを示す。 同時に、より高速なゼロオーダーオンラインADM手法(M)を提案する。
  論文  参考訳（メタデータ） (2019-07-30T02:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。