論文の概要: Adaptive Federated Minimax Optimization with Lower complexities
- arxiv url: http://arxiv.org/abs/2211.07303v3
- Date: Tue, 24 Oct 2023 07:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 03:28:15.854997
- Title: Adaptive Federated Minimax Optimization with Lower complexities
- Title（参考訳）: 低複素性を考慮した適応フェデレーションミニマックス最適化
- Authors: Feihu Huang
- Abstract要約: 本稿では,これらの分散ミニマックス問題の解法として,効率的な適応型フェデレーション・ミニマックス最適化アルゴリズム(AdaFGDA)を提案する。
具体的には、AdaFGDAは運動量に基づく分散と局所SGD技術に基づいており、様々な適応学習率を柔軟に組み込むことができる。
- 参考スコア（独自算出の注目度）: 25.438298531555468
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning is a popular distributed and privacy-preserving machine
learning paradigm. Meanwhile, minimax optimization, as an effective
hierarchical optimization, is widely applied in machine learning. Recently,
some federated optimization methods have been proposed to solve the distributed
minimax problems. However, these federated minimax methods still suffer from
high gradient and communication complexities. Meanwhile, few algorithm focuses
on using adaptive learning rate to accelerate algorithms. To fill this gap, in
the paper, we study a class of nonconvex minimax optimization, and propose an
efficient adaptive federated minimax optimization algorithm (i.e., AdaFGDA) to
solve these distributed minimax problems. Specifically, our AdaFGDA builds on
the momentum-based variance reduced and local-SGD techniques, and it can
flexibly incorporate various adaptive learning rates by using the unified
adaptive matrix. Theoretically, we provide a solid convergence analysis
framework for our AdaFGDA algorithm under non-i.i.d. setting. Moreover, we
prove our algorithms obtain lower gradient (i.e., stochastic first-order
oracle, SFO) complexity of $\tilde{O}(\epsilon^{-3})$ with lower communication
complexity of $\tilde{O}(\epsilon^{-2})$ in finding $\epsilon$-stationary point
of the nonconvex minimax problems. Experimentally, we conduct some experiments
on the deep AUC maximization and robust neural network training tasks to verify
efficiency of our algorithms.
- Abstract（参考訳）: フェデレーション学習(Federated Learning)は、分散およびプライバシ保護の機械学習パラダイムとして人気がある。
一方、機械学習において、効率的な階層最適化としてミニマックス最適化が広く適用されている。
近年,分散ミニマックス問題の解法としてフェデレーション最適化法が提案されている。
しかし、これらのフェデレーションされたミニマックス法は依然として高い勾配と通信の複雑さに苦しむ。
一方,適応学習速度を用いてアルゴリズムを高速化するアルゴリズムは少ない。
このギャップを埋めるため,本論文では,非凸ミニマックス最適化のクラスについて検討し,分散ミニマックス問題を解くための効率的な適応フェデレーションミニマックス最適化アルゴリズム(adafgda)を提案する。
特に,adafgdaは運動量に基づく分散低減法と局所sgd法を基盤とし,統一適応行列を用いて様々な適応学習率を柔軟に組み込むことができる。
理論的には、AdaFGDAアルゴリズムに対して、非i.d.条件下でのソリッド収束解析フレームワークを提供する。
さらに、我々のアルゴリズムは、非凸ミニマックス問題の$\epsilon$-stationary pointを求める際に、$\tilde{o}(\epsilon^{-3})$と$\tilde{o}(\epsilon^{-2})$の通信複雑性がより低い勾配(すなわち確率的一階オラクル、sfo)の複雑さを得ることを証明します。
実験では,アルゴリズムの効率性を検証するために,深層auc最大化とロバストニューラルネットワークトレーニングタスクについて実験を行う。
関連論文リスト
- Faster Adaptive Decentralized Learning Algorithms [24.379734053137597]
適応学習と有限サム最適化のための高速分散非分散アルゴリズム(AdaMDOSとAdaMDOF)のクラスを提案する。
いくつかの実験結果から,アルゴリズムの有効性が示された。
論文 参考訳（メタデータ） (2024-08-19T08:05:33Z) - Solving a Class of Non-Convex Minimax Optimization in Federated Learning [84.98927714326908]
ミニマックス問題は、機械学習のトレーニングから大規模学習まで、機械学習アプリケーション全体にわたって発生する。
本稿では,非ミニマックス問題 (emphi) に対するアルゴリズムのクラスを提案し,複雑性を$varepsilon-6)$に減らした。
我々は、FedSGDA-Mが$O(kappa2-3)$と$O(kappa2-3)$の最もよく知られた通信量を持つことを示す。
論文 参考訳（メタデータ） (2023-10-05T15:48:41Z) - Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。
本稿では,2種類のミニマックスアルゴリズムを提案する。
そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
論文 参考訳（メタデータ） (2023-02-08T01:42:45Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Faster Adaptive Momentum-Based Federated Methods for Distributed
Composition Optimization [14.579475552088692]
非分散合成問題の解法として,高速なフェデレート合成最適化アルゴリズム(MFCGDとAdaMFCGD)を提案する。
特に、我々の適応アルゴリズム(AdaMFCGD)は、様々な適応学習率を柔軟に組み込むために統一適応行列を使用する。
論文 参考訳（メタデータ） (2022-11-03T15:17:04Z) - Fast Adaptive Federated Bilevel Optimization [14.579475552088692]
本稿では,分散二レベル最適化問題の解法として,適応型二レベル最適化アルゴリズム(AdaFBiO)を提案する。
AdaFBiOは、統一適応行列を用いて、様々な適応学習率を柔軟に組み込んで、ULおよびLL問題の変数を更新する。
AdaFBiOアルゴリズムの収束解析フレームワークを提供し、$tildeO(epsilon-3)$の複雑さと$tildeO(epsilon-2)$のコミュニケーション複雑さのサンプルが必要であることを証明した。
論文 参考訳（メタデータ） (2022-11-02T13:55:47Z) - Federated Minimax Optimization: Improved Convergence Analyses and
Algorithms [32.062312674333775]
我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。
我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-09T16:21:31Z) - Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex
Minimax Machine Learning [12.069630105460766]
AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。
本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-12-22T04:33:27Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - Gradient Free Minimax Optimization: Variance Reduction and Faster
Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。
本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文 参考訳（メタデータ） (2020-06-16T17:55:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。