Fugu-MT 論文翻訳(概要): Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth

論文の概要: Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth

arxiv url: http://arxiv.org/abs/2405.03248v1
Date: Mon, 6 May 2024 08:00:43 GMT
ステータス: 処理完了
システム内更新日: 2024-05-07 14:25:38.997862
Title: Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth
Title（参考訳）: 動的帯域幅を考慮した適応圧縮によるコミュニケーション効率の良いフェデレーション学習
Authors: Ying Zhuansun, Dandan Li, Xiaohong Huang, Caijun Sun,
Abstract要約: フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
参考スコア（独自算出の注目度）: 6.300376113680886
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning can train models without directly providing local data to the server. However, the frequent updating of the local model brings the problem of large communication overhead. Recently, scholars have achieved the communication efficiency of federated learning mainly by model compression. But they ignore two problems: 1) network state of each client changes dynamically; 2) network state among clients is not the same. The clients with poor bandwidth update local model slowly, which leads to low efficiency. To address this challenge, we propose a communication-efficient federated learning algorithm with adaptive compression under dynamic bandwidth (called AdapComFL). Concretely, each client performs bandwidth awareness and bandwidth prediction. Then, each client adaptively compresses its local model via the improved sketch mechanism based on his predicted bandwidth. Further, the server aggregates sketched models with different sizes received. To verify the effectiveness of the proposed method, the experiments are based on real bandwidth data which are collected from the network topology we build, and benchmark datasets which are obtained from open repositories. We show the performance of AdapComFL algorithm, and compare it with existing algorithms. The experimental results show that our AdapComFL achieves more efficient communication as well as competitive accuracy compared to existing algorithms.
Abstract（参考訳）: フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。しかし、ローカルモデルの頻繁な更新は、通信オーバーヘッドの大きな問題を引き起こす。近年,モデル圧縮を中心に,フェデレート学習のコミュニケーション効率が向上している。しかし、彼らは2つの問題を無視する。 1) 各クライアントのネットワーク状態は動的に変化する。 2)クライアント間のネットワーク状態は同じではない。帯域幅の低いクライアントは、ローカルモデルをゆっくりと更新する。この課題に対処するために,動的帯域幅(AdapComFL)下で適応圧縮された通信効率の高いフェデレーション学習アルゴリズムを提案する。具体的には、各クライアントは帯域幅の認識と帯域幅の予測を行う。そして、各クライアントは、予測帯域幅に基づいて、改良されたスケッチ機構を介して、そのローカルモデルを適応的に圧縮する。さらにサーバは、異なるサイズでスケッチされたモデルを集約する。提案手法の有効性を検証するため,提案手法は,構築したネットワークトポロジから収集した実帯域データと,オープンリポジトリから取得したベンチマークデータセットに基づく。本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。実験結果から,我々のAdapComFLは既存のアルゴリズムと比較して,より効率的な通信を実現するとともに,競争精度も向上することが示された。

関連論文リスト

Noise-Robust and Resource-Efficient ADMM-based Federated Learning [6.957420925496431]
フェデレートラーニング(FL)は、クライアントサーバ通信を活用して、分散データ上でグローバルモデルをトレーニングする。本稿では,通信負荷を低減しつつ,通信騒音に対するロバスト性を高める新しいFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-20T12:32:22Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文参考訳（メタデータ） (2022-12-19T14:19:07Z)
Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
論文参考訳（メタデータ） (2022-12-14T18:54:46Z)
ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals [24.13593410107805]
フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
論文参考訳（メタデータ） (2022-12-11T20:34:52Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文参考訳（メタデータ） (2021-12-18T02:26:38Z)
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文参考訳（メタデータ） (2021-09-17T04:48:42Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
Slashing Communication Traffic in Federated Learning by Transmitting Clustered Model Updates [12.660500431713336]
Federated Learning(FL)は、複数のクライアントが共同で学習モデルをトレーニングできる、新たな分散型学習フレームワークである。クライアントとパラメータサーバ間のインターネットを介してモデル更新を交換することで、通信トラフィックが増大する可能性がある。本研究では,ソフトウェアクラスタリング(MUCSC)によるモデル更新圧縮を考案し,クライアントとPS間で送信されるモデル更新を圧縮する。
論文参考訳（メタデータ） (2021-05-10T07:15:49Z)
Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。