論文の概要: Slashing Communication Traffic in Federated Learning by Transmitting
Clustered Model Updates
- arxiv url: http://arxiv.org/abs/2105.04153v1
- Date: Mon, 10 May 2021 07:15:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:44:15.549459
- Title: Slashing Communication Traffic in Federated Learning by Transmitting
Clustered Model Updates
- Title（参考訳）: クラスタモデル更新による連合学習における通信トラフィックの削減
- Authors: Laizhong Cui and Xiaoxin Su and Yipeng Zhou and Yi Pan
- Abstract要約: Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。
クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。
本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
- 参考スコア（独自算出の注目度）: 12.660500431713336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an emerging decentralized learning framework
through which multiple clients can collaboratively train a learning model.
However, a major obstacle that impedes the wide deployment of FL lies in
massive communication traffic. To train high dimensional machine learning
models (such as CNN models), heavy communication traffic can be incurred by
exchanging model updates via the Internet between clients and the parameter
server (PS), implying that the network resource can be easily exhausted.
Compressing model updates is an effective way to reduce the traffic amount.
However, a flexible unbiased compression algorithm applicable for both uplink
and downlink compression in FL is still absent from existing works. In this
work, we devise the Model Update Compression by Soft Clustering (MUCSC)
algorithm to compress model updates transmitted between clients and the PS. In
MUCSC, it is only necessary to transmit cluster centroids and the cluster ID of
each model update. Moreover, we prove that: 1) The compressed model updates are
unbiased estimation of their original values so that the convergence rate by
transmitting compressed model updates is unchanged; 2) MUCSC can guarantee that
the influence of the compression error on the model accuracy is minimized.
Then, we further propose the boosted MUCSC (B-MUCSC) algorithm, a biased
compression algorithm that can achieve an extremely high compression rate by
grouping insignificant model updates into a super cluster. B-MUCSC is suitable
for scenarios with very scarce network resource. Ultimately, we conduct
extensive experiments with the CIFAR-10 and FEMNIST datasets to demonstrate
that our algorithms can not only substantially reduce the volume of
communication traffic in FL, but also improve the training efficiency in
practical networks.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントが協調して学習モデルをトレーニングできる、新たな分散型学習フレームワークである。
しかしながら、flの広範な展開を妨げる大きな障害は、大規模な通信トラフィックにある。
高次元機械学習モデル(cnnモデルなど)をトレーニングするには、クライアントとパラメータサーバ(ps)間のインターネットを介してモデル更新を交換することで、ネットワークリソースが容易に使い果たせることを示すことによって、大量の通信トラフィックを発生させることができる。
モデル更新の圧縮は、トラフィック量を減らす効果的な方法である。
しかし、flにおけるアップリンクとダウンリンクの両方に適用可能な柔軟な偏りのない圧縮アルゴリズムは、まだ既存の作業に欠けている。
本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
MUCSCでは、各モデル更新のクラスタセントロイドとクラスタIDを送信するだけでよい。
さらに,(1)圧縮モデル更新は,圧縮モデル更新による収束率が変化しないように,原値の偏りのない推定であり,2)mucscは,圧縮誤差の影響がモデル精度に与える影響を最小化できることを示す。
さらに,超クラスタに非有意なモデル更新をグループ化することで,非常に高い圧縮率を達成可能なバイアス圧縮アルゴリズムであるboosted mucsc (b-mucsc) アルゴリズムを提案する。
B-MUCSCはネットワークリソースの少ないシナリオに適している。
最終的に、我々はCIFAR-10とFEMNISTデータセットを用いて広範な実験を行い、我々のアルゴリズムがFLにおける通信トラフィックを大幅に削減できるだけでなく、実用的なネットワークにおけるトレーニング効率を向上させることができることを示した。
関連論文リスト
- High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。
実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-07-08T19:34:39Z) - Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。
本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T12:17:47Z) - Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth [6.300376113680886]
フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。
近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。
本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
論文 参考訳（メタデータ） (2024-05-06T08:00:43Z) - Expediting In-Network Federated Learning by Voting-Based Consensus Model
Compression [28.688895217988925]
本稿では,クライアント投票とモデル集約という2つのフェーズからなるFediAC(Federated Learning Aggregation with Compression)アルゴリズムを提案する。
FediACは、クライアント間のコンセンサス圧縮を保証するため、既存の作業よりもメモリスペースと通信トラフィックをはるかに少なく消費する。
我々は、FediACがモデル精度と通信トラフィックの点で最先端のベースラインを著しく上回っていることを示すために、公開データセットを使用して広範な実験を行う。
論文 参考訳（メタデータ） (2024-02-06T09:00:05Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳（メタデータ） (2024-01-25T14:49:15Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:48:42Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。