論文の概要: Kuramoto-FedAvg: Using Synchronization Dynamics to Improve Federated Learning Optimization under Statistical Heterogeneity
- arxiv url: http://arxiv.org/abs/2505.19605v1
- Date: Mon, 26 May 2025 07:16:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:43.237785
- Title: Kuramoto-FedAvg: Using Synchronization Dynamics to Improve Federated Learning Optimization under Statistical Heterogeneity
- Title（参考訳）: 倉本FedAvg:統計的不均一性下でのフェデレーション学習最適化改善のための同期ダイナミクスの利用
- Authors: Aggrey Muhebwa, Khotso Selialia, Fatima Anwar, Khalid K. Osman,
- Abstract要約: 不均一(非IID)クライアントデータのフェデレーション学習は、クライアントのドリフトによる収束が遅い。
重み集約ステップを同期問題として再構成するフェデレート最適化アルゴリズムである倉本FedAvgを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning on heterogeneous (non-IID) client data experiences slow convergence due to client drift. To address this challenge, we propose Kuramoto-FedAvg, a federated optimization algorithm that reframes the weight aggregation step as a synchronization problem inspired by the Kuramoto model of coupled oscillators. The server dynamically weighs each client's update based on its phase alignment with the global update, amplifying contributions that align with the global gradient direction while minimizing the impact of updates that are out of phase. We theoretically prove that this synchronization mechanism reduces client drift, providing a tighter convergence bound compared to the standard FedAvg under heterogeneous data distributions. Empirical validation supports our theoretical findings, showing that Kuramoto-FedAvg significantly accelerates convergence and improves accuracy across multiple benchmark datasets. Our work highlights the potential of coordination and synchronization-based strategies for managing gradient diversity and accelerating federated optimization in realistic non-IID settings.
- Abstract（参考訳）: 不均一(非IID)クライアントデータのフェデレーション学習は、クライアントのドリフトによる収束が遅い。
この課題に対処するため,結合発振器の倉本モデルにインスパイアされた同期問題として,重み付けステップを再構成するフェデレーション最適化アルゴリズムである倉本FedAvgを提案する。
サーバは、グローバルアップデートとのフェーズアライメントに基づいて、各クライアントの更新を動的に評価し、グローバル勾配方向に沿ったコントリビューションを拡大するとともに、フェーズ外の更新の影響を最小限にする。
我々は、この同期機構がクライアントのドリフトを減少させ、不均一なデータ分布下での標準FedAvgよりも厳密な収束を与えることを理論的に証明する。
実験による検証は, 倉本FedAvgが収束を著しく加速し, 複数のベンチマークデータセットの精度を向上することを示す。
本研究は,現実的な非IID設定において,勾配の多様性を管理し,フェデレーション最適化を促進するための調整と同期ベースの戦略の可能性を強調した。
関連論文リスト
- Asynchronous Federated Learning: A Scalable Approach for Decentralized Machine Learning [0.9208007322096533]
フェデレートラーニング(FL)は、分散機械学習の強力なパラダイムとして登場し、生データを共有することなく、さまざまなクライアント間で協調的なモデルトレーニングを可能にする。
従来のFLアプローチは、同期クライアントのアップデートに依存しているため、スケーラビリティと効率の制限に直面することが多い。
本稿では、クライアントが独立して非同期にグローバルモデルを更新できる非同期フェデレートラーニング(AFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-23T17:11:02Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。
本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。
我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文 参考訳（メタデータ） (2024-10-07T23:14:05Z) - FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。
本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。
提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文 参考訳（メタデータ） (2024-07-25T20:02:57Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。
異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。
また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文 参考訳（メタデータ） (2024-03-16T14:35:03Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - A General Theory for Federated Optimization with Asynchronous and
Heterogeneous Clients Updates [10.609815608017065]
我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。
私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。
我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
論文 参考訳（メタデータ） (2022-06-21T08:46:05Z) - From Deterioration to Acceleration: A Calibration Approach to
Rehabilitating Step Asynchronism in Federated Optimization [13.755421424240048]
我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。
理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
論文 参考訳（メタデータ） (2021-12-17T07:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。