論文の概要: Convergence Analysis of Asynchronous Federated Learning with Gradient Compression for Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2504.19903v3
• Date: Fri, 12 Sep 2025 18:13:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 11:17:11.555494
• Title: Convergence Analysis of Asynchronous Federated Learning with Gradient Compression for Non-Convex Optimization
• Title（参考訳）: 非凸最適化のための勾配圧縮による非同期フェデレーション学習の収束解析
• Authors: Diying Yang, Yingwei Hou, Weigang Wu,
• Abstract要約: 実践的連合学習(FL)では、クライアントとサーバの間の大きな通信オーバーヘッドが、しばしば重大なボトルネックとなる。 勾配圧縮法はこのオーバーヘッドを効果的に低減し、エラーフィードバック(EF)はモデルの精度を回復する。 しかし、非同期FL設定では、これらのシステム/統計的制約と圧縮/EF機構の間の複雑な相互作用は理論的には理解されていないままである。
• 参考スコア（独自算出の注目度）: 5.785828733631788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical federated learning (FL), the large communication overhead between clients and the server is often a significant bottleneck. Gradient compression methods can effectively reduce this overhead, while error feedback (EF) restores model accuracy. Moreover, due to device heterogeneity, synchronous FL often suffers from stragglers and inefficiency-issues that asynchronous FL effectively alleviates. However, in asynchronous FL settings-which inherently face three major challenges: asynchronous delay, data heterogeneity, and flexible client participation-the complex interactions among these system/statistical constraints and compression/EF mechanisms remain poorly understood theoretically. In this paper, we fill this gap through a comprehensive convergence study that adequately decouples and unravels these complex interactions across various FL frameworks. We first consider a basic asynchronous FL framework AsynFL, and establish an improved convergence analysis that relies on fewer assumptions and yields a superior convergence rate than prior studies. We then extend our study to a compressed version, AsynFLC, and derive sufficient conditions for its convergence, indicating the nonlinear interaction between asynchronous delay and compression rate. Our analysis further demonstrates how asynchronous delay and data heterogeneity jointly exacerbate compression-induced errors, thereby hindering convergence. Furthermore, we study the convergence of AsynFLC-EF, the framework that further integrates EF. We prove that EF can effectively reduce the variance of gradient estimation under the aforementioned challenges, enabling AsynFLC-EF to match the convergence rate of AsynFL. We also show that the impact of asynchronous delay and flexible participation on EF is limited to slowing down the higher-order convergence term. Experimental results substantiate our analytical findings very well.
• Abstract（参考訳）: 実践的連合学習(FL)では、クライアントとサーバの間の大きな通信オーバーヘッドが、しばしば重大なボトルネックとなる。 勾配圧縮法はこのオーバーヘッドを効果的に低減し、エラーフィードバック(EF)はモデルの精度を回復する。 さらに、デバイスの不均一性のため、同期FLはしばしば、非同期FLが効果的に緩和するストラグラーや非効率な問題に悩まされる。 しかし、非同期FL設定では、本質的に3つの大きな課題に直面している。非同期遅延、データ不均一性、フレキシブルクライアント参加-これらのシステム/統計的制約と圧縮/EFメカニズムの間の複雑な相互作用は理論的には理解されていないままである。 本稿では,これらの複雑な相互作用を様々なFLフレームワーク間で適切に分離・展開する包括的収束研究を通じて,このギャップを埋める。 まず、基本的な非同期FLフレームワークAsynFLを検討し、より少ない仮定に依存し、先行研究よりも優れた収束率をもたらす改良された収束解析を確立する。 次に、圧縮されたAsynFLCに研究を拡張し、その収束に十分な条件を導出し、非同期遅延と圧縮速度の間の非線形相互作用を示す。 さらに, 非同期遅延とデータ不均一性が圧縮誘起誤差を悪化させ, 収束を阻害することを示す。 さらに,さらに EF を統合するフレームワークである AsynFLC-EF の収束について検討する。 AsynFLC-EF が AsynFLC-EF の収束速度と一致するように, 上記の課題下での勾配推定のばらつきを効果的に低減できることを示す。 また、非同期遅延とEFへのフレキシブルな参加の影響は、高次収束項を遅くすることに限定されていることも示しています。 実験結果から解析的な知見が得られた。

関連論文リスト

• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence [10.54196990763149]
  フェデレートラーニング(FL)は、機械学習モデルを協調的にトレーニングするために、クライアントのグループを調整するための新しい方法論を提供する。 本稿では,データ不均一性を伴う非同期フェデレート学習(AFL)システムにおいて,遅延の原因不明が訓練成績に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2025-03-06T03:10:49Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• Momentum Provably Improves Error Feedback! [54.93799845077906]
  未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。 EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
  論文  参考訳（メタデータ） (2023-05-24T13:52:02Z)
• Analysis of Error Feedback in Federated Non-Convex Optimization with Biased Compression [37.6593006747285]
  学習サーバ(FL)システムでは、クライアントと中心的ボトルネックの間の通信コストが高くなる。 本稿では,バイアス圧縮の欠点を解消する手法を提案する。 部分的な参加の下では、いわゆる「ストールエラー蓄積」効果により、余分なスローダウン係数が発達する。
  論文  参考訳（メタデータ） (2022-11-25T18:49:53Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback [65.60461294185853]
  本稿では, 圧縮機により誘導されるマルコフ圧縮機の構成に基づく新しい誤差フィードバック機構EF21を提案する。 これらの技法のいくつかはEF21と組み合わせて分析されていない。
  論文  参考訳（メタデータ） (2021-10-07T09:29:14Z)
• Compressing gradients by exploiting temporal correlation in momentum-SGD [17.995905582226463]
  エラーフィードバックのないシステムにおける時間相関を利用した圧縮手法を解析する。 ImageNetデータセットを用いた実験により,提案手法は通信速度を著しく低減することを示した。 我々は、最小勾配ノルムの有界性を確立することにより、予測誤差仮定の下でSGDの収束を証明した。
  論文  参考訳（メタデータ） (2021-08-17T18:04:06Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates [67.19481956584465]
  飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。 結果がタイトであることを示し、数値実験で重要な結果を示しています。
  論文  参考訳（メタデータ） (2021-03-03T12:08:23Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。