Fugu-MT 論文翻訳(概要): Time-Correlated Sparsification for Communication-Efficient Federated Learning

論文の概要: Time-Correlated Sparsification for Communication-Efficient Federated Learning

arxiv url: http://arxiv.org/abs/2101.08837v1
Date: Thu, 21 Jan 2021 20:15:55 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 07:44:25.730188
Title: Time-Correlated Sparsification for Communication-Efficient Federated Learning
Title（参考訳）: コミュニケーション効率のよい連合学習のための時間相関スパルサフィケーション
Authors: Emre Ozfatura and Kerem Ozfatura and Deniz Gunduz
Abstract要約: フェデレーションラーニング(FL)により、複数のクライアントがローカルデータセットを開示することなく、共有モデルを共同でトレーニングできます。 FLにおける連続的な反復で使用されるスパース表現の間に一定の相関関係を求める新しい時間関連スペーシフィケーション手法を提案する。本研究では,TCSが100倍のスパーシフィケーションと最大2000倍の通信負荷低減で集中型トレーニング精度を達成できることを示した。
参考スコア（独自算出の注目度）: 6.746400031322727
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) enables multiple clients to collaboratively train a shared model without disclosing their local datasets. This is achieved by exchanging local model updates with the help of a parameter server (PS). However, due to the increasing size of the trained models, the communication load due to the iterative exchanges between the clients and the PS often becomes a bottleneck in the performance. Sparse communication is often employed to reduce the communication load, where only a small subset of the model updates are communicated from the clients to the PS. In this paper, we introduce a novel time-correlated sparsification (TCS) scheme, which builds upon the notion that sparse communication framework can be considered as identifying the most significant elements of the underlying model. Hence, TCS seeks a certain correlation between the sparse representations used at consecutive iterations in FL, so that the overhead due to encoding and transmission of the sparse representation can be significantly reduced without compromising the test accuracy. Through extensive simulations on the CIFAR-10 dataset, we show that TCS can achieve centralized training accuracy with 100 times sparsification, and up to 2000 times reduction in the communication load when employed together with quantization.
Abstract（参考訳）: フェデレーション学習(fl)は、複数のクライアントがローカルデータセットを開示することなく、共有モデルを協調的にトレーニングすることを可能にする。これはパラメータサーバ(PS)の助けを借りてローカルモデルの更新を交換することで実現される。しかし、トレーニングされたモデルのサイズが大きくなるため、クライアントとps間の反復的な交換による通信負荷がパフォーマンスのボトルネックとなることが多い。スパース通信は、モデル更新のごく一部のみがクライアントからpsに通信されるため、通信負荷を低減するためにしばしば使用される。本稿では、スパース通信フレームワークを基礎となるモデルの最も重要な要素を識別できると考えることができるという概念に基づいて、新しい時間相関スパース化(tcs)スキームを提案する。従って、tcsは、flの連続イテレーションで使用されるスパース表現と、スパース表現の符号化と伝送によるオーバーヘッドがテスト精度を損なうことなく大幅に低減されるように、一定の相関関係を求める。 cifar-10データセットの広範なシミュレーションを通じて、tcsは100倍のスパーシフィケーションと最大2000倍の量子化による通信負荷削減で集中的なトレーニング精度を達成できることを示した。