論文の概要: Adaptive Federated Minimax Optimization with Lower complexities
- arxiv url: http://arxiv.org/abs/2211.07303v1
- Date: Mon, 14 Nov 2022 12:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 20:11:30.985083
- Title: Adaptive Federated Minimax Optimization with Lower complexities
- Title（参考訳）: 低複素性を考慮した適応フェデレーションミニマックス最適化
- Authors: Feihu Huang
- Abstract要約: 本稿では,分散ミニマックス問題の解法として,高速化されたミニマックスフェデレーション最適化手法(例えば,AdaDA)を提案する。
具体的には、モーメントに基づく分散と局所SGDの手法を削減し、適応学習(AdaDA)を柔軟に構築する。
- 参考スコア（独自算出の注目度）: 14.579475552088692
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning is a popular distributed and privacy-preserving machine
learning approach. Meanwhile, minimax optimization is an effective hierarchical
model in machine learning. Recently, some federated learning methods have been
proposed to solve the distributed minimax optimization. However, these
federated minimax optimization methods still suffer from high gradient and
communication complexities. To fill this gap, in the paper, we study the
Nonconvex-Strongly-Concave (NSC) minimax optimization, and propose a class of
accelerated federated minimax optimization methods (i.e., FGDA and AdaFGDA) to
solve the distributed minimax problems. Specifically, our methods build on the
momentum-based variance reduced and local-SGD techniques, and our adaptive
algorithm (i.e., AdaFGDA) can flexibly incorporate various adaptive learning
rates by using the unified adaptive matrix. Theoretically, we provide a solid
convergence analysis framework for our algorithms under non-i.i.d. setting.
Moreover, we prove our algorithms obtain lower gradient (i.e., SFO) complexity
of $\tilde{O}(\epsilon^{-3})$ with lower communication complexity of
$\tilde{O}(\epsilon^{-2})$ in finding $\epsilon$-stationary point of NSC
minimax problems. Experimentally, we conduct the distributed fair learning and
robust federated learning tasks to verify efficiency of our methods.
- Abstract（参考訳）: フェデレーション学習(Federated Learning)は、分散およびプライバシ保護のマシンラーニングアプローチとして人気がある。
一方、ミニマックス最適化は機械学習における効果的な階層モデルである。
近年,分散ミニマックス最適化のためのフェデレート学習手法が提案されている。
しかし、これらのフェデレーションされたミニマックス最適化手法は依然として高い勾配と通信の複雑さに苦しんでいる。
このギャップを埋めるために,本稿では,Nonconvex-Strongly-Concave (NSC) のミニマックス最適化について検討し,分散ミニマックス問題の解法として,FGDAとAdaFGDAの高速化された最小マックス最適化手法のクラスを提案する。
具体的には、モーメントに基づく分散と局所SGDに基づく手法を構築し、適応アルゴリズム(AdaFGDA)は統一適応行列を用いて様々な適応学習率を柔軟に組み込むことができる。
理論的には、非i.i.d.条件下でのアルゴリズムのための固形収束解析フレームワークを提供する。
さらに, nsc ミニマックス問題の $\epsilon$-stationary point を求める際に, アルゴリズムが$\tilde{o}(\epsilon^{-3})$ と$\tilde{o}(\epsilon^{-2})$ の通信複雑性の低い$\tilde{o}(\epsilon^{-2})$ の勾配(すなわち sfo) の複雑さを得ることを証明した。
実験では,分散フェアラーニングと強固な連合学習タスクを実施し,手法の効率性を検証する。
関連論文リスト
- Faster Adaptive Decentralized Learning Algorithms [24.379734053137597]
適応学習と有限サム最適化のための高速分散非分散アルゴリズム(AdaMDOSとAdaMDOF)のクラスを提案する。
いくつかの実験結果から,アルゴリズムの有効性が示された。
論文 参考訳（メタデータ） (2024-08-19T08:05:33Z) - Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。
本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。
我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
論文 参考訳（メタデータ） (2023-10-05T15:48:41Z) - Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。
本稿では,2種類のミニマックスアルゴリズムを提案する。
そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
論文 参考訳（メタデータ） (2023-02-08T01:42:45Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Faster Adaptive Momentum-Based Federated Methods for Distributed
Composition Optimization [14.579475552088692]
非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。
特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
論文 参考訳（メタデータ） (2022-11-03T15:17:04Z) - Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。
AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。
AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
論文 参考訳（メタデータ） (2022-11-02T13:55:47Z) - Federated Minimax Optimization: Improved Convergence Analyses and
Algorithms [32.062312674333775]
我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。
我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-09T16:21:31Z) - Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex
Minimax Machine Learning [12.069630105460766]
AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。
本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-12-22T04:33:27Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - Gradient Free Minimax Optimization: Variance Reduction and Faster
Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。
本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文 参考訳（メタデータ） (2020-06-16T17:55:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。