論文の概要: Corrected with the Latest Version: Make Robust Asynchronous Federated Learning Possible
- arxiv url: http://arxiv.org/abs/2504.04081v1
- Date: Sat, 05 Apr 2025 06:54:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:09:17.659205
- Title: Corrected with the Latest Version: Make Robust Asynchronous Federated Learning Possible
- Title（参考訳）: 最新のバージョンで修正:ロバストな非同期フェデレーション学習が可能に
- Authors: Chaoyi Lu, Yiding Sun, Pengbo Li, Zhichuan Yang,
- Abstract要約: 本稿では,FedADTという知識蒸留に基づく非同期フェデレーション学習バージョン修正アルゴリズムを提案する。
FedADTは、勾配を集約する前に知識蒸留を適用し、最新のグローバルモデルを用いて古い情報を修正し、古い勾配がトレーニングプロセスに負の影響を効果的に低減する。
その結果,FedADTは他の非同期手法よりも大幅に改善され,コンバージェンス速度の点で全ての手法より優れることが示された。
- 参考スコア（独自算出の注目度）: 2.663489028501814
- License:
- Abstract: As an emerging paradigm of federated learning, asynchronous federated learning offers significant speed advantages over traditional synchronous federated learning. Unlike synchronous federated learning, which requires waiting for all clients to complete updates before aggregation, asynchronous federated learning aggregates the models that have arrived in realtime, greatly improving training speed. However, this mechanism also introduces the issue of client model version inconsistency. When the differences between models of different versions during aggregation become too large, it may lead to conflicts, thereby reducing the models accuracy. To address this issue, this paper proposes an asynchronous federated learning version correction algorithm based on knowledge distillation, named FedADT. FedADT applies knowledge distillation before aggregating gradients, using the latest global model to correct outdated information, thus effectively reducing the negative impact of outdated gradients on the training process. Additionally, FedADT introduces an adaptive weighting function that adjusts the knowledge distillation weight according to different stages of training, helps mitigate the misleading effects caused by the poorer performance of the global model in the early stages of training. This method significantly improves the overall performance of asynchronous federated learning without adding excessive computational overhead. We conducted experimental comparisons with several classical algorithms, and the results demonstrate that FedADT achieves significant improvements over other asynchronous methods and outperforms all methods in terms of convergence speed.
- Abstract（参考訳）: 連合学習の新たなパラダイムとして、非同期フェデレーション学習は、従来の同期フェデレーション学習よりもはるかに高速な学習を提供する。
すべてのクライアントが集約前に更新を完了するのを待つ同期フェデレーション学習とは異なり、非同期フェデレーション学習は、リアルタイムで到着したモデルを集約し、トレーニング速度を大幅に改善する。
しかし、このメカニズムはクライアントモデルバージョンの不整合ももたらします。
集約中に異なるバージョンのモデルの違いが大きくなると、矛盾が生じ、モデルの精度が低下する。
そこで本研究では,FedADTという知識蒸留に基づく非同期フェデレート学習バージョン修正アルゴリズムを提案する。
FedADTは、勾配を集約する前に知識蒸留を適用し、最新のグローバルモデルを用いて古い情報を修正し、古い勾配がトレーニングプロセスに負の影響を効果的に低減する。
さらに、FedADTは、訓練の異なる段階に応じて知識蒸留量を調整する適応重み付け機能を導入し、訓練の初期段階におけるグローバルモデルの貧弱なパフォーマンスによる誤解を招く効果を軽減する。
この手法は,過剰な計算オーバーヘッドを伴わずに,非同期フェデレーション学習の全体的な性能を著しく向上させる。
その結果,FedADTは他の非同期手法よりも大幅に改善され,コンバージェンス速度の点で全ての手法より優れることが示された。
関連論文リスト
- FedFa: A Fully Asynchronous Training Paradigm for Federated Learning [14.4313600357833]
フェデレートラーニング(Federated Learning)は、多数のデバイス上で機械学習モデルのトレーニングをスケールするための、効率的な分散トレーニングパラダイムである。
近年の最先端のソリューションでは,半非同期アプローチを用いて収束の保証による待ち時間コストの軽減が提案されている。
我々はFedFaと呼ばれる完全な非同期トレーニングパラダイムを提案し、モデル収束を保証し、待ち時間を完全に排除できる。
論文 参考訳（メタデータ） (2024-04-17T02:46:59Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Federated Learning based on Pruning and Recovery [0.0]
このフレームワークは非同期学習アルゴリズムとプルーニング技術を統合している。
異種デバイスを含むシナリオにおいて、従来のフェデレーション学習アルゴリズムの非効率性に対処する。
また、非同期アルゴリズムで特定のクライアントの不安定な問題や不適切なトレーニングにも取り組みます。
論文 参考訳（メタデータ） (2024-03-16T14:35:03Z) - Knowledge Rumination for Client Utility Evaluation in Heterogeneous Federated Learning [12.50871784200551]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
非IIDデータと古いモデルは、グローバルモデルの実用性を低下させ、トレーニング失敗につながる可能性があるため、AFLに重大な課題をもたらす。
我々はFedHistと呼ばれる新しいAFLフレームワークを提案し、非IIDデータと勾配安定度の両方がもたらす課題を効果的に解決する。
論文 参考訳（メタデータ） (2023-12-16T11:40:49Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - AsyncFedED: Asynchronous Federated Learning with Euclidean Distance
based Adaptive Weight Aggregation [17.57059932879715]
非同期学習フレームワークでは、サーバがクライアントから更新を受けると、すべての更新が設定通りに到着するのを待つのではなく、グローバルモデルを更新する。
AsyncFedEDと呼ばれる適応重み付けアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-27T07:18:11Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳（メタデータ） (2021-12-10T20:46:13Z) - Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文 参考訳（メタデータ） (2020-12-12T02:50:09Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。