論文の概要: FedFa: A Fully Asynchronous Training Paradigm for Federated Learning
- arxiv url: http://arxiv.org/abs/2404.11015v1
- Date: Wed, 17 Apr 2024 02:46:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 15:34:07.497039
- Title: FedFa: A Fully Asynchronous Training Paradigm for Federated Learning
- Title(参考訳): FedFa: フェデレーションラーニングのための完全な非同期トレーニングパラダイム
- Authors: Haotian Xu, Zhaorui Zhang, Sheng Di, Benben Liu, Alharthi Khalid, Jiannong Cao,
- Abstract要約: フェデレートラーニング(Federated Learning)は、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムである。
近年の最先端のソリューションでは,半非同期アプローチを用いて収束の保証による待ち時間コストの軽減が提案されている。
我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、モデル収束を保証し、待ち時間を完全に排除できる。
- 参考スコア(独自算出の注目度): 14.4313600357833
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning has been identified as an efficient decentralized training paradigm for scaling the machine learning model training on a large number of devices while guaranteeing the data privacy of the trainers. FedAvg has become a foundational parameter update strategy for federated learning, which has been promising to eliminate the effect of the heterogeneous data across clients and guarantee convergence. However, the synchronization parameter update barriers for each communication round during the training significant time on waiting, slowing down the training procedure. Therefore, recent state-of-the-art solutions propose using semi-asynchronous approaches to mitigate the waiting time cost with guaranteed convergence. Nevertheless, emerging semi-asynchronous approaches are unable to eliminate the waiting time completely. We propose a full asynchronous training paradigm, called FedFa, which can guarantee model convergence and eliminate the waiting time completely for federated learning by using a few buffered results on the server for parameter updating. Further, we provide theoretical proof of the convergence rate for our proposed FedFa. Extensive experimental results indicate our approach effectively improves the training performance of federated learning by up to 6x and 4x speedup compared to the state-of-the-art synchronous and semi-asynchronous strategies while retaining high accuracy in both IID and Non-IID scenarios.
- Abstract(参考訳): フェデレーション学習は、トレーナーのデータのプライバシを保証しながら、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムとして特定されている。
FedAvgは、クライアント間での不均一なデータの影響を排除し、収束を保証することを約束しているフェデレーション学習の基本的なパラメータ更新戦略になっている。
しかし、トレーニング中の各通信ラウンド毎の同期パラメータ更新障壁は、待ち時間が大きくなり、トレーニング手順が遅くなる。
したがって、最近の最先端のソリューションでは、半非同期アプローチを用いて収束を保証することで待ち時間コストを軽減することが提案されている。
それでも、出現する半非同期アプローチは、待ち時間を完全に排除することはできない。
我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、パラメータ更新にいくつかのバッファリング結果を使用することで、モデル収束を保証し、フェデレーション学習の待ち時間を完全に排除できる。
さらに,提案したFedFaの収束率の理論的証明を提供する。
IIDと非IIDの両方のシナリオにおいて高い精度を維持しつつ、最先端の同期型および半非同期型の戦略と比較して、フェデレート学習のトレーニング性能を最大6倍と4倍のスピードアップで効果的に向上することを示す。
関連論文リスト
- Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳(メタデータ) (2024-03-27T09:14:36Z) - Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。
異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。
また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文 参考訳(メタデータ) (2024-03-16T14:35:03Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳(メタデータ) (2023-12-23T07:47:07Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳(メタデータ) (2023-12-16T11:40:49Z) - TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with
Adaptive Partial Training [17.84692242938424]
TimelyFLは、適応的な部分的トレーニングを備えた、異種対応の非同期フェデレートラーニングフレームワークである。
我々は、TimelyFLが参加率を21.13%改善し、収束率を1.28倍から2.89倍向上させ、テスト精度を6.25%向上させることを示した。
論文 参考訳(メタデータ) (2023-04-14T06:26:08Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳(メタデータ) (2023-03-01T06:16:15Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2022-12-14T13:57:01Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳(メタデータ) (2022-09-27T02:12:43Z) - A General Theory for Federated Optimization with Asynchronous and
Heterogeneous Clients Updates [10.609815608017065]
我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。
私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。
我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
論文 参考訳(メタデータ) (2022-06-21T08:46:05Z) - Speeding up Heterogeneous Federated Learning with Sequentially Trained
Superclients [19.496278017418113]
フェデレートラーニング(FL)は、ローカルなデータ共有を必要とせず、エッジデバイスの協調を可能にすることにより、プライバシに制約のあるシナリオで機械学習モデルをトレーニングすることを可能にする。
このアプローチは、ローカルデータセットとクライアントの計算的不均一性の異なる統計分布のために、いくつかの課題を提起する。
我々は、多種多様なクライアント、すなわちスーパークオリエントの部分グループのシーケンシャルトレーニングを活用して、集中型パラダイムをプライバシに準拠した方法でエミュレートする新しいフレームワークであるFedSeqを提案する。
論文 参考訳(メタデータ) (2022-01-26T12:33:23Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-26T14:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。