論文の概要: BICompFL: Stochastic Federated Learning with Bi-Directional Compression

• arxiv url: http://arxiv.org/abs/2502.00206v1
• Date: Fri, 31 Jan 2025 22:48:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:34.883417
• Title: BICompFL: Stochastic Federated Learning with Bi-Directional Compression
• Title（参考訳）: BICompFL:双方向圧縮による確率的フェデレーション学習
• Authors: Maximilian Egger, Rawad Bitar, Antonia Wachter-Zeh, Nir Weinberger, Deniz Gündüz,
• Abstract要約: 我々は、連合学習(FL)における顕著なコミュニケーションボトルネックに対処する。 両方向圧縮に固有の課題があることを示し,BICompFLで対処する。 我々のBICompFLは、最先端の精度を維持しつつ、複数のベンチマークと比較すると、通信コストを桁違いに削減できることを示した。
• 参考スコア（独自算出の注目度）: 70.37629026426104
• License:
• Abstract: We address the prominent communication bottleneck in federated learning (FL). We specifically consider stochastic FL, in which models or compressed model updates are specified by distributions rather than deterministic parameters. Stochastic FL offers a principled approach to compression, and has been shown to reduce the communication load under perfect downlink transmission from the federator to the clients. However, in practice, both the uplink and downlink communications are constrained. We show that bi-directional compression for stochastic FL has inherent challenges, which we address by introducing BICompFL. Our BICompFL is experimentally shown to reduce the communication cost by an order of magnitude compared to multiple benchmarks, while maintaining state-of-the-art accuracies. Theoretically, we study the communication cost of BICompFL through a new analysis of an importance-sampling based technique, which exposes the interplay between uplink and downlink communication costs.
• Abstract（参考訳）: 我々は,フェデレートラーニング(FL)における顕著なコミュニケーションボトルネックに対処する。 具体的には、モデルや圧縮されたモデル更新が決定論的パラメータではなく分布によって特定される確率的FLについて検討する。 Stochastic FLは、圧縮に対する原則的なアプローチを提供し、フェデレーターからクライアントへの完全なダウンリンク伝送下での通信負荷を低減することが示されている。 しかし、実際にはアップリンク通信とダウンリンク通信の両方に制約がある。 確率FLの双方向圧縮には,BICompFLを導入して対処する固有の課題が存在することを示す。 我々のBICompFLは、最先端の精度を維持しつつ、複数のベンチマークと比較すると、通信コストを桁違いに削減できることを示した。 理論的には、上りリンクと下りリンクの通信コストの相互作用を明らかにする重要サンプリングに基づく手法を新たに分析し、BICompFLの通信コストについて検討する。

関連論文リスト

• Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization [15.73877955614998]
  本稿では,クライアント間のスカラー値を一定数送信することで,通信コストを$mathscrO(d)$から$mathscrO(d)$に削減する新しい通信アルゴリズムであるDeComFLを提案する。 古典的なディープラーニングトレーニングと大規模言語モデルの微調整の両方を含む経験的評価は、通信オーバーヘッドを大幅に削減することを示している。
  論文  参考訳（メタデータ） (2024-05-24T18:07:05Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• How Robust is Federated Learning to Communication Error? A Comparison Study Between Uplink and Downlink Channels [13.885735785986164]
  本稿では,アップリンクおよびダウンリンク通信誤りに対するフェデレーション学習の堅牢性について検討する。 FLにおけるアップリンク通信は、ダウンリンク通信よりも高いビット誤り率(BER)を許容できることが示されている。
  論文  参考訳（メタデータ） (2023-10-25T14:03:11Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Stochastic Controlled Averaging for Federated Learning with Communication Compression [36.09135695005069]
  我々は,非バイアス圧縮とバイアス圧縮をサポートするために,SCALLIONとSCAFCOMという2つの圧縮FLアルゴリズムを提案する。 両手法は通信や計算の複雑さの観点から既存のFL法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-16T06:35:36Z)
• Improved Convergence Analysis and SNR Control Strategies for Federated Learning in the Presence of Noise [10.685862129925729]
  本稿では,不完全/ノイズのアップリンク通信とダウンリンク通信で分散学習パラダイムを特徴付ける改良された収束解析手法を提案する。 このような不完全なコミュニケーションシナリオは、新興通信システムやプロトコルにおけるFLの実践的な展開に現れます。
  論文  参考訳（メタデータ） (2023-07-14T15:35:57Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。