Fugu-MT 論文翻訳(概要): Take History as a Mirror in Heterogeneous Federated Learning

論文の概要: Take History as a Mirror in Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2312.10425v1
Date: Sat, 16 Dec 2023 11:40:49 GMT
ステータス: 処理完了
システム内更新日: 2023-12-19 16:41:55.442945
Title: Take History as a Mirror in Heterogeneous Federated Learning
Title（参考訳）: 不均一フェデレーション学習における鏡としての歴史
Authors: Xiaorui Jiang, Hengwei Xu, Yu Gao, Yong Liao, Pengyuan Zhou
Abstract要約: フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
参考スコア（独自算出の注目度）: 9.187993085263209
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) allows several clients to cooperatively train machine learning models without disclosing the raw data. In practice, due to the system and statistical heterogeneity among devices, synchronous FL often encounters the straggler effect. In contrast, asynchronous FL can mitigate this problem, making it suitable for scenarios involving numerous participants. However, Non-IID data and stale models present significant challenges to asynchronous FL, as they would diminish the practicality of the global model and even lead to training failures. In this work, we propose a novel asynchronous FL framework called Federated Historical Learning (FedHist), which effectively addresses the challenges posed by both Non-IID data and gradient staleness. FedHist enhances the stability of local gradients by performing weighted fusion with historical global gradients cached on the server. Relying on hindsight, it assigns aggregation weights to each participant in a multi-dimensional manner during each communication round. To further enhance the efficiency and stability of the training process, we introduce an intelligent $\ell_2$-norm amplification scheme, which dynamically regulates the learning progress based on the $\ell_2$-norms of the submitted gradients. Extensive experiments demonstrate that FedHist outperforms state-of-the-art methods in terms of convergence performance and test accuracy.
Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、複数のクライアントが生データを開示することなく、協調的に機械学習モデルを訓練することを可能にする。実際には、システムとデバイス間の統計的不均一性のため、同期flはしばしばストラグラー効果に遭遇する。対照的に、非同期flはこの問題を緩和し、多数の参加者を含むシナリオに適している。しかし、非iidデータと古いモデルは、グローバルモデルの実用性が低下し、さらにはトレーニングの失敗につながるため、非同期flに重大な課題をもたらす。本研究では,非IIDデータと勾配安定度の両方がもたらす課題を効果的に解決する,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。 fedhistは、サーバにキャッシュされた歴史的なグローバル勾配と重み付け融合を行うことで、ローカル勾配の安定性を高める。後見に基づいて、各通信ラウンド中に多次元的に各参加者に集約重みを割り当てる。トレーニングプロセスの効率性と安定性をさらに向上するため,提案した勾配の$\ell_2$-normに基づいて,動的に学習の進捗を調節するインテリジェントな$\ell_2$-norm増幅方式を導入する。広範な実験により、フェディストは収束性能とテスト精度の点で最先端の手法よりも優れていることが示されている。

関連論文リスト

Using Diffusion Models as Generative Replay in Continual Federated Learning -- What will Happen? [28.465434174993007]
本稿では,分散学習環境における継続的学習の課題に対処するための新しいフレームワークであるDCFLを紹介する。提案手法は条件拡散モデルのパワーを利用して,通信中の各ローカルデバイスで合成履歴データを生成する。
論文参考訳（メタデータ） (2024-11-10T22:48:21Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。様々な共役者によって保持される生データは、常に不特定に分散される。本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文参考訳（メタデータ） (2022-10-07T10:30:39Z)
FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文参考訳（メタデータ） (2022-04-30T06:17:36Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data [10.299577499118548]
フェデレートラーニング(FL)は、複数の参加者が生データをアップロードすることなくグローバルモデルをトレーニングできる、新たなプライバシ保護パラダイムである。本稿では,適応学習率(WKAFL)を持つ2段重み付き非同期FLを提案する。ベンチマークと合成FLデータセットの両方に実装された実験は、WKAFLが既存のアルゴリズムよりも全体的なパフォーマンスが優れていることを示している。
論文参考訳（メタデータ） (2022-03-02T16:17:23Z)
Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文参考訳（メタデータ） (2021-12-25T14:58:52Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)
FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文参考訳（メタデータ） (2020-12-06T15:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。