論文の概要: Take History as a Mirror in Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2312.10425v1
- Date: Sat, 16 Dec 2023 11:40:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 16:41:55.442945
- Title: Take History as a Mirror in Heterogeneous Federated Learning
- Title(参考訳): 不均一フェデレーション学習における鏡としての歴史
- Authors: Xiaorui Jiang, Hengwei Xu, Yu Gao, Yong Liao, Pengyuan Zhou
- Abstract要約: フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
- 参考スコア(独自算出の注目度): 9.187993085263209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) allows several clients to cooperatively train machine
learning models without disclosing the raw data. In practice, due to the system
and statistical heterogeneity among devices, synchronous FL often encounters
the straggler effect. In contrast, asynchronous FL can mitigate this problem,
making it suitable for scenarios involving numerous participants. However,
Non-IID data and stale models present significant challenges to asynchronous
FL, as they would diminish the practicality of the global model and even lead
to training failures. In this work, we propose a novel asynchronous FL
framework called Federated Historical Learning (FedHist), which effectively
addresses the challenges posed by both Non-IID data and gradient staleness.
FedHist enhances the stability of local gradients by performing weighted fusion
with historical global gradients cached on the server. Relying on hindsight, it
assigns aggregation weights to each participant in a multi-dimensional manner
during each communication round. To further enhance the efficiency and
stability of the training process, we introduce an intelligent $\ell_2$-norm
amplification scheme, which dynamically regulates the learning progress based
on the $\ell_2$-norms of the submitted gradients. Extensive experiments
demonstrate that FedHist outperforms state-of-the-art methods in terms of
convergence performance and test accuracy.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、複数のクライアントが生データを開示することなく、協調的に機械学習モデルを訓練することを可能にする。
実際には、システムとデバイス間の統計的不均一性のため、同期flはしばしばストラグラー効果に遭遇する。
対照的に、非同期flはこの問題を緩和し、多数の参加者を含むシナリオに適している。
しかし、非iidデータと古いモデルは、グローバルモデルの実用性が低下し、さらにはトレーニングの失敗につながるため、非同期flに重大な課題をもたらす。
本研究では,非IIDデータと勾配安定度の両方がもたらす課題を効果的に解決する,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
fedhistは、サーバにキャッシュされた歴史的なグローバル勾配と重み付け融合を行うことで、ローカル勾配の安定性を高める。
後見に基づいて、各通信ラウンド中に多次元的に各参加者に集約重みを割り当てる。
トレーニングプロセスの効率性と安定性をさらに向上するため,提案した勾配の$\ell_2$-normに基づいて,動的に学習の進捗を調節するインテリジェントな$\ell_2$-norm増幅方式を導入する。
広範な実験により、フェディストは収束性能とテスト精度の点で最先端の手法よりも優れていることが示されている。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文 参考訳(メタデータ) (2022-10-07T10:30:39Z) - Communication-Efficient Diffusion Strategy for Performance Improvement
of Federated Learning with Non-IID Data [10.112913394578703]
フェデレートラーニング(FL)は、集中学習におけるプライバシー漏洩問題に対処する新しい学習パラダイムである。
FLでは,非独立かつ同一に分散した(非IID)特性を持つユーザは,グローバルモデルの性能を低下させる可能性がある。
非IIDデータを用いたFL性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。
論文 参考訳(メタデータ) (2022-07-15T14:28:41Z) - FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated
Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。
本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。
FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文 参考訳(メタデータ) (2022-04-30T06:17:36Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳(メタデータ) (2022-03-18T04:58:34Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Towards Efficient and Stable K-Asynchronous Federated Learning with
Unbounded Stale Gradients on Non-IID Data [10.299577499118548]
フェデレートラーニング(FL)は、複数の参加者が生データをアップロードすることなくグローバルモデルをトレーニングできる、新たなプライバシ保護パラダイムである。
本稿では,適応学習率(WKAFL)を持つ2段重み付き非同期FLを提案する。
ベンチマークと合成FLデータセットの両方に実装された実験は、WKAFLが既存のアルゴリズムよりも全体的なパフォーマンスが優れていることを示している。
論文 参考訳(メタデータ) (2022-03-02T16:17:23Z) - Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。
異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。
本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文 参考訳(メタデータ) (2021-12-25T14:58:52Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳(メタデータ) (2020-12-06T15:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。