論文の概要: A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
- arxiv url: http://arxiv.org/abs/2407.05125v1
- Date: Sat, 6 Jul 2024 16:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:58:28.725233
- Title: A Joint Approach to Local Updating and Gradient Compression for Efficient Asynchronous Federated Learning
- Title（参考訳）: 効率的な非同期フェデレーション学習のための局所的更新とグラディエント圧縮の併用手法
- Authors: Jiajun Song, Jiajun Luo, Rongwei Lu, Shuzhao Xie, Bin Chen, Zhi Wang,
- Abstract要約: 局所的な更新と勾配圧縮を相乗化する新しい手法を提案する。
画像分類と音声認識の実験により、FedLuckは通信消費を56%削減し、訓練時間は平均55%削減した。
- 参考スコア（独自算出の注目度）: 8.059032012515924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Asynchronous Federated Learning (AFL) confronts inherent challenges arising from the heterogeneity of devices (e.g., their computation capacities) and low-bandwidth environments, both potentially causing stale model updates (e.g., local gradients) for global aggregation. Traditional approaches mitigating the staleness of updates typically focus on either adjusting the local updating or gradient compression, but not both. Recognizing this gap, we introduce a novel approach that synergizes local updating with gradient compression. Our research begins by examining the interplay between local updating frequency and gradient compression rate, and their collective impact on convergence speed. The theoretical upper bound shows that the local updating frequency and gradient compression rate of each device are jointly determined by its computing power, communication capabilities and other factors. Building on this foundation, we propose an AFL framework called FedLuck that adaptively optimizes both local update frequency and gradient compression rates. Experiments on image classification and speech recognization show that FedLuck reduces communication consumption by 56% and training time by 55% on average, achieving competitive performance in heterogeneous and low-bandwidth scenarios compared to the baselines.
- Abstract（参考訳）: 非同期フェデレートラーニング(AFL)は、デバイス(例えば、その計算能力)と低帯域環境の不均一性に起因する固有の課題に直面し、どちらもグローバルアグリゲーションのための古いモデル更新(例えば、局所勾配)を引き起こす可能性がある。
アップデートの安定性を緩和する従来のアプローチは、通常はローカル更新または勾配圧縮の調整に重点を置いているが、両方ではない。
このギャップを認識し、局所的な更新と勾配圧縮を相乗化する新しいアプローチを導入する。
本研究は,局所更新周波数と勾配圧縮速度の相互作用と収束速度に対する集団的影響について検討することから始まる。
理論上界は、各装置の局所的な更新周波数と勾配圧縮速度が、その演算力、通信能力、その他の要因によって共同で決定されることを示している。
この基盤の上に構築されたFedLuckと呼ばれるAFLフレームワークは、局所的な更新頻度と勾配圧縮率の両方を適応的に最適化する。
画像分類と音声認識の実験により、FedLuckは通信消費を平均56%減らし、トレーニング時間は平均55%減らし、ベースラインと比較して不均一で低帯域幅のシナリオで競合性能を達成することが示された。
関連論文リスト
- Heterogeneity-Aware Cooperative Federated Edge Learning with Adaptive Computation and Communication Compression [7.643645513353701]
クラウドベースのフェデレーション・ラーニング(FL)の欠点により、モバイルエッジネットワーク上でのFLの効率を改善するために、協調フェデレーション・エッジ・ラーニング(CFEL)が提案されている。
CFELは、動的および不均一なデバイス特性から生じる重要な課題に直面し、収束を遅くし、リソース消費を増加させる。
本稿では、トレーニング時間とエネルギー消費を最小化し、モデル精度を最大化することを目的とした、textitHeterogeneity-Aware Cooperative Edge-based Federated Averaging (HCEF)と呼ばれる不均一性を考慮したCFEL方式を提案する。
論文 参考訳（メタデータ） (2024-09-06T04:26:57Z) - Communication-Efficient Federated Learning with Adaptive Compression under Dynamic Bandwidth [6.300376113680886]
フェデレーション学習は、ローカルデータをサーバに直接提供せずにモデルをトレーニングすることができる。
近年の研究者は、主にモデル圧縮により、連合学習のコミュニケーション効率を達成している。
本稿では,AdapComFLアルゴリズムの性能を示し,既存のアルゴリズムと比較する。
論文 参考訳（メタデータ） (2024-05-06T08:00:43Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。
我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
論文 参考訳（メタデータ） (2024-03-14T22:29:59Z) - Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。
DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
論文 参考訳（メタデータ） (2024-02-05T19:02:19Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳（メタデータ） (2023-02-21T03:55:29Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳（メタデータ） (2021-11-30T02:13:54Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳（メタデータ） (2021-07-01T06:14:51Z) - Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。
このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。
いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文 参考訳（メタデータ） (2020-09-19T17:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。