論文の概要: Improving Accelerated Federated Learning with Compression and Importance
Sampling
- arxiv url: http://arxiv.org/abs/2306.03240v1
- Date: Mon, 5 Jun 2023 20:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 18:19:04.741251
- Title: Improving Accelerated Federated Learning with Compression and Importance
Sampling
- Title(参考訳): 圧縮と重要度サンプリングによる加速的フェデレーション学習の改善
- Authors: Micha{\l} Grudzie\'n, Grigory Malinovsky, Peter Richt\'arik
- Abstract要約: 本稿では, 地域学習, 圧縮, 部分参加など, 必要なすべての要素を取り入れたフェデレートラーニングの完全な方法を提案する。
部分的参加のための一般的なサンプリングフレームワークを分析し、より優れたパフォーマンスをもたらす重要なサンプリングスキームを導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning is a collaborative training framework that leverages
heterogeneous data distributed across a vast number of clients. Since it is
practically infeasible to request and process all clients during the
aggregation step, partial participation must be supported. In this setting, the
communication between the server and clients poses a major bottleneck. To
reduce communication loads, there are two main approaches: compression and
local steps. Recent work by Mishchenko et al. [2022] introduced the new
ProxSkip method, which achieves an accelerated rate using the local steps
technique. Follow-up works successfully combined local steps acceleration with
partial participation [Grudzie\'n et al., 2023, Condat et al. 2023] and
gradient compression [Condat et al. [2022]. In this paper, we finally present a
complete method for Federated Learning that incorporates all necessary
ingredients: Local Training, Compression, and Partial Participation. We obtain
state-of-the-art convergence guarantees in the considered setting. Moreover, we
analyze the general sampling framework for partial participation and derive an
importance sampling scheme, which leads to even better performance. We
experimentally demonstrate the advantages of the proposed method in practice.
- Abstract(参考訳): Federated Learningは、多数のクライアントに分散した異種データを活用する共同トレーニングフレームワークである。
集約ステップ中にすべてのクライアントをリクエストして処理することは事実上不可能であるため、部分的な参加をサポートする必要がある。
この設定では、サーバとクライアント間の通信が大きなボトルネックとなる。
通信負荷を低減するため、圧縮と局所ステップの2つの主要なアプローチがある。
Mishchenkoらによる最近の作品。
2022] は, 局所ステップ法を用いて加速率を達成する新しい ProxSkip 法を導入した。
フォローアップ作業は,局所的なステップアクセラレーションと部分参加 [grudzie\'n et al., 2023, condat et al. 2023] と勾配圧縮 [condat et al. [2022] を組み合わせることに成功している。
本稿では, 地域学習, 圧縮, 部分参加など, 必要なすべての要素を取り入れたフェデレーション学習の完全な方法を提案する。
考慮された設定において、最先端の収束保証を得る。
さらに、部分参加のための一般的なサンプリングフレームワークを分析し、より優れたパフォーマンスをもたらす重要なサンプリングスキームを導出する。
提案手法の実際的利点を実験的に実証した。
関連論文リスト
- Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。
本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。
我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文 参考訳(メタデータ) (2024-10-07T23:14:05Z) - Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳(メタデータ) (2024-06-03T08:48:49Z) - Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。
Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。
Sparse-ProxSkipの優れた性能を広範な実験で実証する。
論文 参考訳(メタデータ) (2024-05-31T05:21:12Z) - SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning [48.072207894076556]
デバイス間のトレーニングは、クライアントの数が何十億にも達する、学習のサブフィールドです。
標準アプローチとローカルメソッドは、デバイス間の類似性と同じくらい重要な問題になりがちである。
当社の手法は,同種のデータを持つクライアントの客観的かつ実証的なメリットを必要としない,この種の最初の手法である。
論文 参考訳(メタデータ) (2024-05-30T15:07:30Z) - Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-07T17:46:37Z) - TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。
ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳(メタデータ) (2023-02-20T08:37:44Z) - GradSkip: Communication-Accelerated Local Gradient Methods with Better
Computational Complexity [3.222802562733787]
本研究では,クライアントが通信に先立って複数の局所勾配型訓練を行えるようにすることで,通信コストの低減を目的とした分散最適化アルゴリズムのクラスについて検討する。
我々は、GradSkipという名前が同じ仮定の下で線形に収束する修正法を証明した。
論文 参考訳(メタデータ) (2022-10-28T20:59:06Z) - A Computation and Communication Efficient Method for Distributed
Nonconvex Problems in the Partial Participation Setting [58.59873548589766]
本稿では, 分散低減, 部分的参加, 圧縮通信の3つの重要な要素を含む新しい手法を提案する。
本手法は, 部分的参加環境において, 最適オラクル複雑性と最先端通信複雑性を有することを示す。
論文 参考訳(メタデータ) (2022-05-31T07:41:20Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。