論文の概要: Convergence Analysis of Asynchronous Federated Learning with Gradient Compression for Non-Convex Optimization
- arxiv url: http://arxiv.org/abs/2504.19903v1
- Date: Mon, 28 Apr 2025 15:35:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.495538
- Title: Convergence Analysis of Asynchronous Federated Learning with Gradient Compression for Non-Convex Optimization
- Title（参考訳）: 非凸最適化のための勾配圧縮による非同期フェデレーション学習の収束解析
- Authors: Diying Yang, Yingwei Hou, Danyang Xiao, Weigang Wu,
- Abstract要約: グラディエント圧縮は、連合学習における通信コストを低減する効果的な手法である。
本稿では,FLの収束挙動を異なるフレームワークで解析する。
EFが非同期遅延にもかかわらず、勾配推定のばらつきを効果的に低減できることを示す。
- 参考スコア（独自算出の注目度）: 3.6093008648437013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gradient compression is an effective technique for reducing communication costs in federated learning (FL), and error feedback (EF) is usually adopted to remedy the compression errors. However, there remains a lack of systematic study on these techniques in asynchronous FL. In this paper, we fill this gap by analyzing the convergence behaviors of FL under different frameworks. We firstly consider a basic asynchronous FL framework AsynFL, and provide an improved convergence analysis that relies on fewer assumptions and yields a superior convergence rate than prior studies. Then, we consider a variant framework with gradient compression, AsynFLC. We show sufficient conditions for its convergence to the optimum, indicating the interaction between asynchronous delay and compression rate. Our analysis also demonstrates that asynchronous delay amplifies the variance caused by compression, thereby hindering convergence, and such an impact is exacerbated by high data heterogeneity. Furthermore, we study the convergence of AsynFLC-EF, the framework that further integrates EF. We prove that EF can effectively reduce the variance of gradient estimation despite asynchronous delay, which enables AsynFLC-EF to match the convergence rate of AsynFL. We also show that the impact of asynchronous delay on EF is limited to slowing down the higher-order convergence term. Experimental results substantiate our analytical findings very well.
- Abstract（参考訳）: グラディエント圧縮は、フェデレートラーニング(FL)における通信コスト削減に有効な手法であり、通常、圧縮エラーの軽減にエラーフィードバック(EF)が用いられる。
しかし、非同期FLにおけるこれらの手法に関する体系的な研究はいまだに残っていない。
本稿では,異なるフレームワーク下でのFLの収束挙動を解析することにより,このギャップを埋める。
まず、基本的な非同期FLフレームワークAsynFLについて考察し、より少ない仮定に依存し、先行研究よりも優れた収束率が得られるような改善された収束解析を提供する。
そこで我々は、勾配圧縮を持つ変種フレームワークAsynFLCについて検討する。
我々は,非同期遅延と圧縮速度の相互作用を示す最適値に収束する十分な条件を示す。
また, 非同期遅延は圧縮による分散を増幅し, 収束を阻害し, 高いデータ不均一性によってその影響が悪化することを示した。
さらに,さらに EF を統合するフレームワークである AsynFLC-EF の収束について検討した。
AsynFLC-EF がAsynFLC-EF の収束率と一致できるように,非同期遅延にもかかわらず勾配推定のばらつきを効果的に低減できることを示す。
また、EFに対する非同期遅延の影響は、高次収束項の減速に限られていることも示している。
実験結果から解析的な知見が得られた。
関連論文リスト
- Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence [10.54196990763149]
フェデレートラーニング(FL)は、機械学習モデルを協調的にトレーニングするために、クライアントのグループを調整するための新しい方法論を提供する。
本稿では,データ不均一性を伴う非同期フェデレート学習(AFL)システムにおいて,遅延の原因不明が訓練成績に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2025-03-06T03:10:49Z) - FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。
本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。
提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文 参考訳（メタデータ） (2024-07-25T20:02:57Z) - Momentum Provably Improves Error Feedback! [54.93799845077906]
未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。
EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
論文 参考訳（メタデータ） (2023-05-24T13:52:02Z) - Analysis of Error Feedback in Federated Non-Convex Optimization with
Biased Compression [37.6593006747285]
学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。
本稿では,バイアス圧縮の欠点を解消する手法を提案する。
部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
論文 参考訳（メタデータ） (2022-11-25T18:49:53Z) - Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。
提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文 参考訳（メタデータ） (2022-04-26T16:37:29Z) - Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。
ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。
我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
論文 参考訳（メタデータ） (2021-08-17T18:04:06Z) - 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。
スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。
シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
論文 参考訳（メタデータ） (2021-03-30T03:50:31Z) - Critical Parameters for Scalable Distributed Learning with Large Batches
and Asynchronous Updates [67.19481956584465]
飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。
結果がタイトであることを示し、数値実験で重要な結果を示しています。
論文 参考訳（メタデータ） (2021-03-03T12:08:23Z) - Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with
Delayed Gradients [21.63719641718363]
フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。
本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
論文 参考訳（メタデータ） (2021-02-12T02:27:44Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。