Fugu-MT 論文翻訳(概要): Faster Rates for Compressed Federated Learning with Client-Variance Reduction

論文の概要: Faster Rates for Compressed Federated Learning with Client-Variance Reduction

arxiv url: http://arxiv.org/abs/2112.13097v3
Date: Sun, 24 Sep 2023 12:40:18 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 05:24:14.906465
Title: Faster Rates for Compressed Federated Learning with Client-Variance Reduction
Title（参考訳）: クライアント分散低減による圧縮連合学習の高速化
Authors: Haoyu Zhao, Konstantin Burlachenko, Zhize Li, Peter Richt\'arik
Abstract要約: 我々はCOFIGとFRECONが$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束していることを示す。凸設定では、COFIGは$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束する。
参考スコア（独自算出の注目度）: 23.169998435268504
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Due to the communication bottleneck in distributed and federated learning applications, algorithms using communication compression have attracted significant attention and are widely used in practice. Moreover, the huge number, high heterogeneity and limited availability of clients result in high client-variance. This paper addresses these two issues together by proposing compressed and client-variance reduced methods COFIG and FRECON. We prove an $O(\frac{(1+\omega)^{3/2}\sqrt{N}}{S\epsilon^2}+\frac{(1+\omega)N^{2/3}}{S\epsilon^2})$ bound on the number of communication rounds of COFIG in the nonconvex setting, where $N$ is the total number of clients, $S$ is the number of clients participating in each round, $\epsilon$ is the convergence error, and $\omega$ is the variance parameter associated with the compression operator. In case of FRECON, we prove an $O(\frac{(1+\omega)\sqrt{N}}{S\epsilon^2})$ bound on the number of communication rounds. In the convex setting, COFIG converges within $O(\frac{(1+\omega)\sqrt{N}}{S\epsilon})$ communication rounds, which, to the best of our knowledge, is also the first convergence result for compression schemes that do not communicate with all the clients in each round. We stress that neither COFIG nor FRECON needs to communicate with all the clients, and they enjoy the first or faster convergence results for convex and nonconvex federated learning in the regimes considered. Experimental results point to an empirical superiority of COFIG and FRECON over existing baselines.
Abstract（参考訳）: 分散学習および連合学習アプリケーションの通信ボトルネックにより、通信圧縮を用いたアルゴリズムが注目され、実際に広く使われている。さらに、膨大な数、高い異質性、クライアントの可用性の制限により、クライアントのばらつきが高まる。本稿では,COFIGとFRECONの圧縮およびクライアント分散低減手法を提案する。我々は、$O(\frac{(1+\omega)^{3/2}\sqrt{N}}{S\epsilon^2}+\frac{(1+\omega)N^{2/3}}{S\epsilon^2})$を非凸設定におけるCOFIGの通信ラウンド数に限定し、$N$はクライアントの総数、$S$は各ラウンドに参加しているクライアント数、$\epsilon$は収束エラー、$\omega$は圧縮演算子に関連する分散パラメータであることを示す。 FRECONの場合、通信ラウンドの数で$O(\frac{(1+\omega)\sqrt{N}}{S\epsilon^2})$を証明します。凸設定では、COFIGは$O(\frac{(1+\omega)\sqrt{N}}{S\epsilon})$通信ラウンドに収束する。私たちは、COFIGもFRECONもすべてのクライアントと通信する必要はなく、コンベックスや非凸型学習において、コンベックスや非凸型学習の最初の、あるいはより速い収束結果を楽しむことを強調します。実験結果からCOFIGとFRECONが既存のベースラインよりも優れていることが示唆された。

関連論文リスト

Federated Learning under Periodic Client Participation and Heterogeneous Data: A New Communication-Efficient Algorithm and Analysis [14.98493572536424]
連合学習では、クライアントが常にトレーニングに参加することができると仮定することが一般的であり、実際にはユーザデバイスでは実現不可能である。最近のフェデレーション学習は、より現実的な参加パターンの下で、サイクリッククライアントの可用性や任意の参加として分析されている。
論文参考訳（メタデータ） (2024-10-30T15:41:35Z)
Adaptive, Doubly Optimal No-Regret Learning in Strongly Monotone and Exp-Concave Games with Gradient Feedback [75.29048190099523]
オンライン勾配降下(OGD)は、強い凸性や単調性仮定の下では二重最適であることが知られている。本稿では,これらのパラメータの事前知識を必要としない完全適応型OGDアルゴリズム,textsfAdaOGDを設計する。
論文参考訳（メタデータ） (2023-10-21T18:38:13Z)
Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems [7.5573375809946395]
我々は、ピアツーピア通信により、$m$のコンピューティングエージェントのネットワークが協調すると考えている。我々のアルゴリズムフレームワークは、二変数のコンセンサス制約を取り除くために、アグラジアン乗算器を導入している。我々の知る限りでは、これはNCSCミニマックス問題に対する収束保証を、原始変数と双対変数の両方に適用する一般の非正規化器で提供する最初の研究である。
論文参考訳（メタデータ） (2023-07-14T01:32:16Z)
Federated Learning in the Presence of Adversarial Client Unavailability [16.201377650598516]
フェデレートラーニング(Federated Learning)は、生データを公開せずにコラボレーティブモデルを可能にする、分散機械学習フレームワークである。多様なハードウェアソフトウェアに制限があるため、クライアントはサーバからの計算要求に対して常に利用できるとは限らない。戦場のような厳しい環境では、敵は特定のクライアントを選択的に黙らせることができる。
論文参考訳（メタデータ） (2023-05-31T15:57:07Z)
Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation [77.09836892653176]
マルコフ決定過程の設定におけるマルチエージェント強化学習について検討した。本稿では非同期通信が可能な値に基づく証明可能な効率的なアルゴリズムを提案する。我々は、コラボレーションによってパフォーマンスを改善するために、最小の$Omega(dM)$通信の複雑さが必要であることを示す。
論文参考訳（メタデータ） (2023-05-10T20:29:29Z)
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文参考訳（メタデータ） (2022-06-16T17:10:57Z)
BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with Communication Compression [37.20712215269538]
コミュニケーション効率は大規模分散機械学習アプリケーションのボトルネックとして広く認識されている。本稿では,勾配追跡と通信を併用したBEERを提案し,より高速に収束することを示す。
論文参考訳（メタデータ） (2022-01-31T16:14:09Z)
Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文参考訳（メタデータ） (2021-10-07T09:38:15Z)
FedPAGE: A Fast Local Stochastic Gradient Method for Communication-Efficient Federated Learning [21.055643409860743]
Averaging(FedAvg、またはLocal-SGD)は、クライアントが複数のローカルSGDステップを実行して、アップデートをオーケストレーションサーバに通信する、古典的なフェデレーション学習である。本稿では,新しいフェデレーション学習アルゴリズムであるFedAvgを提案する。
論文参考訳（メタデータ） (2021-08-10T15:41:27Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)
Variance Reduced EXTRA and DIGing and Their Optimal Acceleration for Strongly Convex Decentralized Optimization [69.49313819343992]
広範に使われているEXTRA法とDIG法を拡張し,VR-EXTRA法とVR-DIGing法という2つの手法を提案する。提案されたVR-EXTRAは、$O(kappa_s+n)logfrac1epsilon)$グラデーション評価と$O(kappa_b+kappa_c)logfrac1epsilon)$通信ラウンドを必要とする。提案されているVR-DIGingは、O(kappa_b+kappa)の通信コストが少し高い
論文参考訳（メタデータ） (2020-09-09T15:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。