論文の概要: Federated Accelerated Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2006.08950v4
- Date: Sat, 5 Jun 2021 06:22:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 20:03:48.918777
- Title: Federated Accelerated Stochastic Gradient Descent
- Title（参考訳）: フェデレート加速確率勾配降下
- Authors: Honglin Yuan, Tengyu Ma
- Abstract要約: Federated Accelerated Gradient Descent (FedAc)は、分散最適化のためのFederated Averaging(FedAvg)の原則的加速である。
FedAcはFedAvgの最初の証明可能な加速であり、様々な凸関数の収束速度と通信効率を改善する。
- 参考スコア（独自算出の注目度）: 32.91905061930542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Federated Accelerated Stochastic Gradient Descent (FedAc), a
principled acceleration of Federated Averaging (FedAvg, also known as Local
SGD) for distributed optimization. FedAc is the first provable acceleration of
FedAvg that improves convergence speed and communication efficiency on various
types of convex functions. For example, for strongly convex and smooth
functions, when using $M$ workers, the previous state-of-the-art FedAvg
analysis can achieve a linear speedup in $M$ if given $M$ rounds of
synchronization, whereas FedAc only requires $M^{\frac{1}{3}}$ rounds.
Moreover, we prove stronger guarantees for FedAc when the objectives are
third-order smooth. Our technique is based on a potential-based perturbed
iterate analysis, a novel stability analysis of generalized accelerated SGD,
and a strategic tradeoff between acceleration and stability.
- Abstract（参考訳）: 分散最適化のためのFedAvg(FedAvg, Local SGD)の原理的加速度であるFedAc(Federated Accelerated Stochastic Gradient Descent)を提案する。
FedAcはFedAvgの最初の証明可能な加速であり、様々な凸関数の収束速度と通信効率を改善する。
例えば、強い凸関数や滑らかな関数の場合、$M$ workersを使用する場合、以前の最先端のFedAvg解析は、M$の同期ラウンドが与えられた場合、$M$の線形スピードアップを達成できるが、FedAcは$M^{\frac{1}{3}}のラウンドのみを必要とする。
さらに、目的が3次スムーズな場合、FedAcの強い保証を示す。
本手法は, ポテンシャルに基づく摂動イテレート解析, 一般化加速sgdの新しい安定性解析, 加速度と安定性の戦略的トレードオフに基づく。
関連論文リスト
- Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。
本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
論文 参考訳（メタデータ） (2024-04-03T00:41:19Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。
我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
論文 参考訳（メタデータ） (2024-02-19T03:08:02Z) - On Principled Local Optimization Methods for Federated Learning [2.628859872479184]
論文は、以下の3つの方向において、局所的手法の理論的基礎を前進させることを目的としている。
まず、フェデレートラーニングで最も人気のあるアルゴリズムであるFedAvgのシャープバウンドを確立する。
次に,FedAc(Federated Accelerated Descent)を提案する。
論文 参考訳（メタデータ） (2024-01-24T03:57:45Z) - A General Theory for Federated Optimization with Asynchronous and
Heterogeneous Clients Updates [10.609815608017065]
我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。
私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。
我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
論文 参考訳（メタデータ） (2022-06-21T08:46:05Z) - A Unified Linear Speedup Analysis of Federated Averaging and Nesterov
FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。
本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。
また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文 参考訳（メタデータ） (2020-07-11T05:59:08Z) - Momentum Improves Normalized SGD [51.27183254738711]
モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。
本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
論文 参考訳（メタデータ） (2020-02-09T07:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。