論文の概要: CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated
Learning
- arxiv url: http://arxiv.org/abs/2301.12193v1
- Date: Sat, 28 Jan 2023 13:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 18:28:12.432665
- Title: CyclicFL: A Cyclic Model Pre-Training Approach to Efficient Federated
Learning
- Title(参考訳): CyclicFL: 効果的なフェデレーション学習のためのサイクルモデル事前学習アプローチ
- Authors: Pengyu Zhang, Yingbo Zhou, Ming Hu, Xin Fu, Xian Wei, and Mingsong
Chen
- Abstract要約: フェデレートラーニング(FL)におけるランダム初期モデルは、不規則なグラディエント・Descent(SGD)プロセスをもたらす。
本稿では,SGDプロセスの導出に有効な初期モデルを迅速に導出できるCyclicFLという新しいFL法を提案する。
その結果,CyclicFLは分類精度を最大16.21%向上させるだけでなく,全体のFLトレーニングプロセスを著しく向上させることができることがわかった。
- 参考スコア(独自算出の注目度): 22.572538934701114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since random initial models in Federated Learning (FL) can easily result in
unregulated Stochastic Gradient Descent (SGD) processes, existing FL methods
greatly suffer from both slow convergence and poor accuracy, especially for
non-IID scenarios. To address this problem, we propose a novel FL method named
CyclicFL, which can quickly derive effective initial models to guide the SGD
processes, thus improving the overall FL training performance. Based on the
concept of Continual Learning (CL), we prove that CyclicFL approximates
existing centralized pre-training methods in terms of classification and
prediction performance. Meanwhile, we formally analyze the significance of data
consistency between the pre-training and training stages of CyclicFL, showing
the limited Lipschitzness of loss for the pre-trained models by CyclicFL.
Unlike traditional centralized pre-training methods that require public proxy
data, CyclicFL pre-trains initial models on selected clients cyclically without
exposing their local data. Therefore, they can be easily integrated into any
security-critical FL methods. Comprehensive experimental results show that
CyclicFL can not only improve the classification accuracy by up to 16.21%, but
also significantly accelerate the overall FL training processes.
- Abstract(参考訳): フェデレーション学習(fl)におけるランダム初期モデルでは、非規則的確率勾配降下(sgd)過程が容易に生じるため、既存のfl法は、特に非iidシナリオでは、収束が遅く、精度が低くなる。
そこで本研究では,SGDプロセスの導出に有効な初期モデルを高速に導出し,FLトレーニング性能を向上する,CyclicFLという新しいFL手法を提案する。
連続学習(CL)の概念に基づいて,CyclicFLが既存の集中型事前学習手法を,分類と予測性能の観点から近似していることを示す。
一方、CyclicFLの事前学習と訓練段階間のデータ一貫性の重要性を正式に分析し、CyclicFLによる事前学習モデルの損失の限定性を示す。
パブリックなプロキシデータを必要とする従来の集中型事前トレーニング方法とは異なり、cyclicflは、ローカルデータを露光することなく、選択したクライアントで初期モデルを事前トレーニングする。
したがって、セキュリティクリティカルなFLメソッドに簡単に統合できる。
総合実験の結果, cyclicflは, 分類精度を最大16.21%向上させるだけでなく, 総合的なflトレーニングプロセスを著しく向上できることがわかった。
関連論文リスト
- Efficient Stagewise Pretraining via Progressive Subnetworks [55.65819977062729]
我々は、トレーニング全体を通して完全なモデルを維持できる代替フレームワークであるプログレッシブサブネットワークトレーニングを提案し、各ステップでモデル内でのみトレインワークを行う。
RaPTr は BERT と UL2 言語モデルの事前トレーニング損失が向上すると同時に,標準的なトレーニングに比べて 20-33% のFLOP の削減が要求される。
論文 参考訳(メタデータ) (2024-02-08T18:49:09Z) - Rethinking the Starting Point: Enhancing Performance and Fairness of
Federated Learning via Collaborative Pre-Training [23.861193752503418]
本稿では,コラボレーティブな事前学習手法であるCoPreFLを提案する。
我々の事前学習アルゴリズムのキーとなるアイデアは、下流の分散シナリオを模倣し、予期せぬFLタスクに適応できるメタラーニング手順である。
論文 参考訳(メタデータ) (2024-02-03T17:58:43Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳(メタデータ) (2023-12-18T05:18:17Z) - Which mode is better for federated learning? Centralized or
Decentralized [64.46017397813549]
集中型と分散型の両方のアプローチは、フェデレートラーニング(FL)における優れたパフォーマンスと優れた応用価値を示している。
しかし、現在の研究では、どちらが優れているかを示す証拠は示されていない。
論文 参考訳(メタデータ) (2023-10-05T11:09:42Z) - Importance of Smoothness Induced by Optimizers in FL4ASR: Towards
Understanding Federated Learning for End-to-End ASR [12.108696564200052]
フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。
FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
論文 参考訳(メタデータ) (2023-09-22T17:23:01Z) - NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳(メタデータ) (2023-02-01T14:47:17Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T08:52:51Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳(メタデータ) (2022-06-23T06:02:33Z) - Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。
異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。
本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文 参考訳(メタデータ) (2021-12-25T14:58:52Z) - Critical Learning Periods in Federated Learning [11.138980572551066]
フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。
FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
論文 参考訳(メタデータ) (2021-09-12T21:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。