論文の概要: Slashing Communication Traffic in Federated Learning by Transmitting
Clustered Model Updates
- arxiv url: http://arxiv.org/abs/2105.04153v1
- Date: Mon, 10 May 2021 07:15:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:44:15.549459
- Title: Slashing Communication Traffic in Federated Learning by Transmitting
Clustered Model Updates
- Title(参考訳): クラスタモデル更新による連合学習における通信トラフィックの削減
- Authors: Laizhong Cui and Xiaoxin Su and Yipeng Zhou and Yi Pan
- Abstract要約: Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。
クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。
本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
- 参考スコア(独自算出の注目度): 12.660500431713336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an emerging decentralized learning framework
through which multiple clients can collaboratively train a learning model.
However, a major obstacle that impedes the wide deployment of FL lies in
massive communication traffic. To train high dimensional machine learning
models (such as CNN models), heavy communication traffic can be incurred by
exchanging model updates via the Internet between clients and the parameter
server (PS), implying that the network resource can be easily exhausted.
Compressing model updates is an effective way to reduce the traffic amount.
However, a flexible unbiased compression algorithm applicable for both uplink
and downlink compression in FL is still absent from existing works. In this
work, we devise the Model Update Compression by Soft Clustering (MUCSC)
algorithm to compress model updates transmitted between clients and the PS. In
MUCSC, it is only necessary to transmit cluster centroids and the cluster ID of
each model update. Moreover, we prove that: 1) The compressed model updates are
unbiased estimation of their original values so that the convergence rate by
transmitting compressed model updates is unchanged; 2) MUCSC can guarantee that
the influence of the compression error on the model accuracy is minimized.
Then, we further propose the boosted MUCSC (B-MUCSC) algorithm, a biased
compression algorithm that can achieve an extremely high compression rate by
grouping insignificant model updates into a super cluster. B-MUCSC is suitable
for scenarios with very scarce network resource. Ultimately, we conduct
extensive experiments with the CIFAR-10 and FEMNIST datasets to demonstrate
that our algorithms can not only substantially reduce the volume of
communication traffic in FL, but also improve the training efficiency in
practical networks.
- Abstract(参考訳): Federated Learning(FL)は、複数のクライアントが協調して学習モデルをトレーニングできる、新たな分散型学習フレームワークである。
しかしながら、flの広範な展開を妨げる大きな障害は、大規模な通信トラフィックにある。
高次元機械学習モデル(cnnモデルなど)をトレーニングするには、クライアントとパラメータサーバ(ps)間のインターネットを介してモデル更新を交換することで、ネットワークリソースが容易に使い果たせることを示すことによって、大量の通信トラフィックを発生させることができる。
モデル更新の圧縮は、トラフィック量を減らす効果的な方法である。
しかし、flにおけるアップリンクとダウンリンクの両方に適用可能な柔軟な偏りのない圧縮アルゴリズムは、まだ既存の作業に欠けている。
本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
MUCSCでは、各モデル更新のクラスタセントロイドとクラスタIDを送信するだけでよい。
さらに,(1)圧縮モデル更新は,圧縮モデル更新による収束率が変化しないように,原値の偏りのない推定であり,2)mucscは,圧縮誤差の影響がモデル精度に与える影響を最小化できることを示す。
さらに,超クラスタに非有意なモデル更新をグループ化することで,非常に高い圧縮率を達成可能なバイアス圧縮アルゴリズムであるboosted mucsc (b-mucsc) アルゴリズムを提案する。
B-MUCSCはネットワークリソースの少ないシナリオに適している。
最終的に、我々はCIFAR-10とFEMNISTデータセットを用いて広範な実験を行い、我々のアルゴリズムがFLにおける通信トラフィックを大幅に削減できるだけでなく、実用的なネットワークにおけるトレーニング効率を向上させることができることを示した。
関連論文リスト
- Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳(メタデータ) (2024-02-28T03:27:10Z) - Expediting In-Network Federated Learning by Voting-Based Consensus Model
Compression [28.688895217988925]
本稿では,クライアント投票とモデル集約という2つのフェーズからなるFediAC(Federated Learning Aggregation with Compression)アルゴリズムを提案する。
FediACは、クライアント間のコンセンサス圧縮を保証するため、既存の作業よりもメモリスペースと通信トラフィックをはるかに少なく消費する。
我々は、FediACがモデル精度と通信トラフィックの点で最先端のベースラインを著しく上回っていることを示すために、公開データセットを使用して広範な実験を行う。
論文 参考訳(メタデータ) (2024-02-06T09:00:05Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - Communication-Efficient Federated Learning through Adaptive Weight
Clustering and Server-Side Distillation [10.541541376305245]
Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。
FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。
本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
論文 参考訳(メタデータ) (2024-01-25T14:49:15Z) - Activations and Gradients Compression for Model-Parallel Training [91.12425544503395]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳(メタデータ) (2024-01-15T15:54:54Z) - ResFed: Communication Efficient Federated Learning by Transmitting Deep
Compressed Residuals [24.13593410107805]
フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。
モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。
共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
論文 参考訳(メタデータ) (2022-12-11T20:34:52Z) - Adaptive Differential Filters for Fast and Communication-Efficient
Federated Learning [12.067586493399308]
フェデレートラーニング(FL)シナリオは、クライアントとサーバ間で頻繁にニューラルネットワークのアップデートを送信することによって、大きな通信オーバーヘッドを生成する。
本稿では,FLプロセスのスパース更新を補う畳み込みフィルタの粒度で動作する新しいスケーリング手法を提案する。
提案手法は, より高速に収束し, 送信データの総量を最大377倍に削減しながら, 中央サーバモデルの性能を向上させる。
論文 参考訳(メタデータ) (2022-04-09T08:23:25Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳(メタデータ) (2021-09-17T04:48:42Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳(メタデータ) (2020-10-18T01:44:42Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。