論文の概要: CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning
- arxiv url: http://arxiv.org/abs/2301.12193v2
- Date: Thu, 5 Sep 2024 12:10:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 07:20:22.446874
- Title: CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated Learning
- Title（参考訳）: CyclicFL: 効果的なフェデレーション学習のためのサイクルモデル事前学習アプローチ
- Authors: Pengyu Zhang, Yingbo Zhou, Ming Hu, Xian Wei, Mingsong Chen,
- Abstract要約: フェデレートラーニング(FL)は、高レベルのデータプライバシを保証するために、AI Internet of Things(AIoT)デバイス上で分散学習を可能にするために提案されている。
既存のFL法は、特に非IIDシナリオにおいて、収束が遅く、精度が低い。
本稿では,SGDプロセスの導出に有効な初期モデルを迅速に導出できるCyclicFLという新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 33.250038477336425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has been proposed to enable distributed learning on Artificial Intelligence Internet of Things (AIoT) devices with guarantees of high-level data privacy. Since random initial models in FL can easily result in unregulated Stochastic Gradient Descent (SGD) processes, existing FL methods greatly suffer from both slow convergence and poor accuracy, especially in non-IID scenarios. To address this problem, we propose a novel method named CyclicFL, which can quickly derive effective initial models to guide the SGD processes, thus improving the overall FL training performance. We formally analyze the significance of data consistency between the pre-training and training stages of CyclicFL, showing the limited Lipschitzness of loss for the pre-trained models by CyclicFL. Moreover, we systematically prove that our method can achieve faster convergence speed under various convexity assumptions. Unlike traditional centralized pre-training methods that require public proxy data, CyclicFL pre-trains initial models on selected AIoT devices cyclically without exposing their local data. Therefore, they can be easily integrated into any security-critical FL methods. Comprehensive experimental results show that CyclicFL can not only improve the maximum classification accuracy by up to $14.11\%$ but also significantly accelerate the overall FL training process.
- Abstract（参考訳）: フェデレートラーニング(FL)は、高レベルのデータプライバシを保証するために、AI Internet of Things(AIoT)デバイス上で分散学習を可能にするために提案されている。
FLにおけるランダム初期モデルは、不規則な確率勾配 Descent (SGD) プロセスに容易に生じるので、既存のFL法は、特に非IIDシナリオにおいて、収束が遅く、精度が悪くなる。
そこで本研究では,SGDプロセスの導出に有効な初期モデルを高速に導出し,FLトレーニング性能を向上するCyclicFLという手法を提案する。
我々は,CyclicFLの事前学習と訓練段階間のデータ一貫性の重要性を正式に分析し,事前学習モデルの損失のリプシッツ性に制限があることを示した。
さらに,この手法が様々な凸性仮定の下でより高速な収束速度を達成できることを系統的に証明する。
パブリックプロキシデータを必要とする従来の集中型事前トレーニング方法とは異なり、CyclicFLは、ローカルデータを公開せずに、選択されたAIoTデバイス上で初期モデルを循環的にトレーニングする。
したがって、セキュリティクリティカルなFLメソッドに簡単に統合できる。
総合的な実験結果から、CyclicFLは最大分類精度を最大14.11 %$まで向上できるだけでなく、全体のFLトレーニングプロセスを著しく加速できることが示された。
関連論文リスト
- Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳（メタデータ） (2023-12-18T05:18:17Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Importance of Smoothness Induced by Optimizers in FL4ASR: Towards
Understanding Federated Learning for End-to-End ASR [12.108696564200052]
フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。
FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
論文 参考訳（メタデータ） (2023-09-22T17:23:01Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Depersonalized Federated Learning: Tackling Statistical Heterogeneity by
Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。
様々な共役者によって保持される生データは、常に不特定に分散される。
本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文 参考訳（メタデータ） (2022-10-07T10:30:39Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳（メタデータ） (2022-06-23T06:02:33Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。
異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。
本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文 参考訳（メタデータ） (2021-12-25T14:58:52Z) - Critical Learning Periods in Federated Learning [11.138980572551066]
フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。
FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
論文 参考訳（メタデータ） (2021-09-12T21:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。