論文の概要: CFedAvg: Achieving Efficient Communication and Fast Convergence in
Non-IID Federated Learning
- arxiv url: http://arxiv.org/abs/2106.07155v1
- Date: Mon, 14 Jun 2021 04:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:35:43.594129
- Title: CFedAvg: Achieving Efficient Communication and Fast Convergence in
Non-IID Federated Learning
- Title（参考訳）: cfedavg:非iid連合学習における効率的なコミュニケーションと高速収束の実現
- Authors: Haibo Yang, Jia Liu, Elizabeth S. Bentley
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。
FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。
本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
- 参考スコア（独自算出の注目度）: 8.702106020664612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a prevailing distributed learning paradigm, where
a large number of workers jointly learn a model without sharing their training
data. However, high communication costs could arise in FL due to large-scale
(deep) learning models and bandwidth-constrained connections. In this paper, we
introduce a communication-efficient algorithmic framework called CFedAvg for FL
with non-i.i.d. datasets, which works with general (biased or unbiased)
SNR-constrained compressors. We analyze the convergence rate of CFedAvg for
non-convex functions with constant and decaying learning rates. The CFedAvg
algorithm can achieve an $\mathcal{O}(1 / \sqrt{mKT} + 1 / T)$ convergence rate
with a constant learning rate, implying a linear speedup for convergence as the
number of workers increases, where $K$ is the number of local steps, $T$ is the
number of total communication rounds, and $m$ is the total worker number. This
matches the convergence rate of distributed/federated learning without
compression, thus achieving high communication efficiency while not sacrificing
learning accuracy in FL. Furthermore, we extend CFedAvg to cases with
heterogeneous local steps, which allows different workers to perform a
different number of local steps to better adapt to their own circumstances. The
interesting observation in general is that the noise/variance introduced by
compressors does not affect the overall convergence rate order for non-i.i.d.
FL. We verify the effectiveness of our CFedAvg algorithm on three datasets with
two gradient compression schemes of different compression ratios.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。
しかし、FLでは大規模(深層)学習モデルと帯域幅制限接続により通信コストが高くなる可能性がある。
本稿では,非i.i.dを持つflのためのcfedavgと呼ばれる通信効率の高いアルゴリズムフレームワークを提案する。
データセットは、一般的な(バイアス付きまたはバイアスなし)SNR制約圧縮機で動作する。
非凸関数に対するCFedAvgの収束速度を一定かつ減衰する学習速度で解析する。
cfedavgアルゴリズムは、一定の学習率で$\mathcal{o}(1 / \sqrt{mkt} + 1 / t)$の収束率を達成でき、労働者の数が増えるにつれて収束の線形速度が向上し、そこでは$k$が局所的なステップ数、$t$が総通信ラウンド数、$m$が総ワーカー数となる。
これは圧縮を伴わずに分散/フェデレート学習の収束率に一致し、flの学習精度を犠牲にすることなく高い通信効率を実現している。
さらにcfedavgを異種ローカルステップのケースにも拡張し,各作業者が異なるローカルステップを実行して,自身の状況に適応できるようにした。
一般に興味深い観察は、圧縮機によって導入されたノイズ/分散が、非i.dの全体的な収束率順序に影響しないことである。
FL。
異なる圧縮比の勾配圧縮スキームを持つ3つのデータセットに対するcfedavgアルゴリズムの有効性を検証する。
関連論文リスト
- Communication-efficient Vertical Federated Learning via Compressed Error Feedback [24.32409923443071]
コミュニケーションのオーバーヘッドは、学習(FL)におけるボトルネックとして知られている。
ネットワークをトレーニングするためのフェデレーションネットワーク上でのエラーフィードバックを提案する。
EFVFLは、スムーズな非重要な問題に対して、圧縮誤差をなくす必要はない。
論文 参考訳（メタデータ） (2024-06-20T15:40:38Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。
本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
論文 参考訳（メタデータ） (2023-05-16T17:36:34Z) - Federated Learning Using Variance Reduced Stochastic Gradient for
Probabilistically Activated Agents [0.0]
本稿では,各エージェントが各反復において任意の選択の確率を持つような最適解に対して,分散低減と高速収束率の両方を達成する2層構造を持つフェデレートラーニング(FL)のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-25T22:04:49Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - BEER: Fast $O(1/T)$ Rate for Decentralized Nonconvex Optimization with
Communication Compression [37.20712215269538]
コミュニケーション効率は大規模分散機械学習アプリケーションのボトルネックとして広く認識されている。
本稿では,勾配追跡と通信を併用したBEERを提案し,より高速に収束することを示す。
論文 参考訳（メタデータ） (2022-01-31T16:14:09Z) - Achieving Linear Speedup with Partial Worker Participation in Non-IID
Federated Learning [6.994020662415705]
Federated Learning (FL) は分散機械学習アーキテクチャであり、多数の作業者が分散データを使ってモデルを共同学習する。
収束の線形高速化が非i.i.dで実現可能であることを示す。
FLに部分的なワーカー参加のデータセット。
論文 参考訳（メタデータ） (2021-01-27T04:38:27Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。