論文の概要: FedGreen: Federated Learning with Fine-Grained Gradient Compression for Green Mobile Edge Computing

• arxiv url: http://arxiv.org/abs/2111.06146v1
• Date: Thu, 11 Nov 2021 11:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 14:32:39.804363
• Title: FedGreen: Federated Learning with Fine-Grained Gradient Compression for Green Mobile Edge Computing
• Title（参考訳）: fedgreen:グリーンモバイルエッジコンピューティングのための細粒度勾配圧縮によるフェデレーション学習
• Authors: Peichun Li, Xumin Huang, Miao Pan, Rong Yu
• Abstract要約: フェデレートラーニング(FL)により、モバイルエッジコンピューティングのデバイスは、ローカルデータをアップロードすることなく、共同で共有モデルをトレーニングできる。 グラディエント圧縮は通信オーバーヘッドを軽減するためにFLに適用できるが、勾配圧縮を伴う現在のFLは依然として大きな課題に直面している。 デバイス全体のエネルギー消費を効率よく制御するため,FedGreenは微細な勾配圧縮により元のFLを向上する。
• 参考スコア（独自算出の注目度）: 15.396931638723142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables devices in mobile edge computing (MEC) to collaboratively train a shared model without uploading the local data. Gradient compression may be applied to FL to alleviate the communication overheads but current FL with gradient compression still faces great challenges. To deploy green MEC, we propose FedGreen, which enhances the original FL with fine-grained gradient compression to efficiently control the total energy consumption of the devices. Specifically, we introduce the relevant operations including device-side gradient reduction and server-side element-wise aggregation to facilitate the gradient compression in FL. According to a public dataset, we investigate the contributions of the compressed local gradients with respect to different compression ratios. After that, we formulate and tackle a learning accuracy-energy efficiency tradeoff problem where the optimal compression ratio and computing frequency are derived for each device. Experiments results demonstrate that given the 80% test accuracy requirement, compared with the baseline schemes, FedGreen reduces at least 32% of the total energy consumption of the devices.
• Abstract（参考訳）: federated learning(fl)は、モバイルエッジコンピューティング(mec)のデバイスが、ローカルデータをアップロードせずに共有モデルを協調的にトレーニングできるようにする。 グラディエント圧縮は通信オーバーヘッドを軽減するためにFLに適用できるが、勾配圧縮を伴う現在のFLは依然として大きな課題に直面している。 グリーンMECをデプロイするために,FedGreenを提案する。このFedGreenは,デバイス全体のエネルギー消費を効率よく制御するために,きめ細かな勾配圧縮によりオリジナルのFLを強化する。 具体的には,flの勾配圧縮を容易にするために,デバイス側勾配低減やサーバ側要素アグリゲーションなどの関連操作を導入する。 公開データセットによると、圧縮された局所勾配の圧縮比に対する寄与について検討する。 その後,各装置の最適圧縮率と演算周波数を導出する学習精度とエネルギー効率のトレードオフ問題を定式化し,解決する。 実験の結果、ベースライン方式と比較して80%のテスト精度が要求されているため、FedGreenはデバイス全体のエネルギー消費量の少なくとも32%を削減している。

関連論文リスト

• Accelerating Large Language Model Training with Hybrid GPU-based Compression [3.204387803072905]
  MPIライブラリはメッセージサイズを大幅に削減し、相互接続帯域幅を活用することが証明されている。 分散大言語モデル(LLM)学習における圧縮支援型MPI集団の有効性について検討した。
  論文  参考訳（メタデータ） (2024-09-04T04:05:30Z)
• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• Beyond Throughput and Compression Ratios: Towards High End-to-end Utility of Gradient Compression [13.255861297820326]
  勾配圧縮は、通信された勾配データ量を減らすことができる。 実際には、勾配圧縮スキームはトレーニングプロセスの加速を達成せず、精度を保っている。 従来の勾配圧縮システムにおける共通問題と評価手法について述べる。
  論文  参考訳（メタデータ） (2024-07-01T15:32:28Z)
• Federated learning compression designed for lightweight communications [0.0]
  Federated Learning (FL)はエッジレベルの機械学習のための有望な分散機械学習手法である。 本稿では,典型的な画像分類タスクにおける圧縮技術がFLに与える影響について検討する。
  論文  参考訳（メタデータ） (2023-10-23T08:36:21Z)
• Stochastic Controlled Averaging for Federated Learning with Communication Compression [36.09135695005069]
  我々は,非バイアス圧縮とバイアス圧縮をサポートするために,SCALLIONとSCAFCOMという2つの圧縮FLアルゴリズムを提案する。 両手法は通信や計算の複雑さの観点から既存のFL法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-16T06:35:36Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Compressed Communication for Distributed Training: Adaptive Methods and System [13.244482588437972]
  通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。 近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。 本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:41:47Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
  巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。 FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。 フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
  論文  参考訳（メタデータ） (2020-12-22T02:54:18Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。