論文の概要: Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization

• arxiv url: http://arxiv.org/abs/2311.00944v2
• Date: Thu, 18 Apr 2024 22:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 20:16:45.827069
• Title: Stochastic Smoothed Gradient Descent Ascent for Federated Minimax Optimization
• Title（参考訳）: フェデレートミニマックス最適化のための確率的滑らかなグラディエント勾配
• Authors: Wei Shen, Minhui Huang, Jiawei Zhang, Cong Shen,
• Abstract要約: フェデレートされたミニマックス最適化は、さまざまな機械学習タスクに広く応用されているため、関心が高まりつつある。 我々は、フェデレートされたミニマックス最適化のためのFederated Smoothed Descent Ascent (ESSGDA)と呼ばれる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 20.703851557582194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, federated minimax optimization has attracted growing interest due to its extensive applications in various machine learning tasks. While Smoothed Alternative Gradient Descent Ascent (Smoothed-AGDA) has proved its success in centralized nonconvex minimax optimization, how and whether smoothing technique could be helpful in federated setting remains unexplored. In this paper, we propose a new algorithm termed Federated Stochastic Smoothed Gradient Descent Ascent (FESS-GDA), which utilizes the smoothing technique for federated minimax optimization. We prove that FESS-GDA can be uniformly used to solve several classes of federated minimax problems and prove new or better analytical convergence results for these settings. We showcase the practical efficiency of FESS-GDA in practical federated learning tasks of training generative adversarial networks (GANs) and fair classification.
• Abstract（参考訳）: 近年、フェデレーション付きミニマックス最適化は、様々な機械学習タスクに広く応用されているため、関心が高まりつつある。 Smoothed Alternative Gradient Descent Ascent (Smoothed-AGDA) は、非凸極小最適化において、その成功を証明している。 本稿では,FESS-GDA(Federated Stochastic Smoothed Gradient Descent Ascent)と呼ばれる新しいアルゴリズムを提案する。 我々は、FESS-GDAが、フェデレーションされたミニマックス問題のいくつかのクラスを均一に解き、これらの設定に対して新しいあるいはより良い解析収束結果を示すことができることを証明した。 本稿では,GAN(Generative Adversarial Network)の訓練と公平な分類において,FESS-GDAの実践的効率性を示す。

関連論文リスト

• Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates [5.269633789700637]
  textttK-GT-Minimaxのデータ不均一性を扱う能力は、フェデレートされた学習研究と応用の進展において、その重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-05-07T17:25:56Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
  大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-18T09:42:05Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。