論文の概要: Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme
- arxiv url: http://arxiv.org/abs/2404.15943v2
- Date: Thu, 25 Apr 2024 08:53:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 18:51:25.110061
- Title: Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme
- Title(参考訳): 条件付きスパース・トゥ・スパーサ・スキームに基づく分散個人化フェデレーションラーニング
- Authors: Qianyu Long, Qiyuan Wang, Christos Anagnostopoulos, Daning Bi,
- Abstract要約: 分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。
本稿では, DA-DPFL という新しいテクスチャパース・ツー・スパーサー・トレーニング手法を提案する。
実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
- 参考スコア(独自算出の注目度): 5.5058010121503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized Federated Learning (DFL) has become popular due to its robustness and avoidance of centralized coordination. In this paradigm, clients actively engage in training by exchanging models with their networked neighbors. However, DFL introduces increased costs in terms of training and communication. Existing methods focus on minimizing communication often overlooking training efficiency and data heterogeneity. To address this gap, we propose a novel \textit{sparse-to-sparser} training scheme: DA-DPFL. DA-DPFL initializes with a subset of model parameters, which progressively reduces during training via \textit{dynamic aggregation} and leads to substantial energy savings while retaining adequate information during critical learning periods. Our experiments showcase that DA-DPFL substantially outperforms DFL baselines in test accuracy, while achieving up to $5$ times reduction in energy costs. We provide a theoretical analysis of DA-DPFL's convergence by solidifying its applicability in decentralized and personalized learning. The code is available at:https://github.com/EricLoong/da-dpfl
- Abstract(参考訳): 分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。
このパラダイムでは、クライアントは、ネットワーク化された隣人とモデルを交換することで、トレーニングを積極的に行う。
しかし、DFLはトレーニングやコミュニケーションの面でコストを増大させる。
既存の方法は、訓練効率とデータの異質性を見越して、コミュニケーションを最小化することに焦点を当てている。
このギャップに対処するために,新しい「textit{sparse-to-sparser}」トレーニングスキーム,DA-DPFLを提案する。
DA-DPFL はモデルパラメータのサブセットで初期化され、これは textit{dynamic aggregate} を通じてトレーニング中に徐々に減少し、臨界学習期間中に適切な情報を保持しながらかなりのエネルギー節約につながる。
実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
分散学習およびパーソナライズ学習におけるDA-DPFLの適用性を固めることにより,DA-DPFLの収束を理論的に分析する。
コードは、https://github.com/EricLoong/da-dpflで入手できる。
関連論文リスト
- Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - Communication Resources Constrained Hierarchical Federated Learning for
End-to-End Autonomous Driving [67.78611905156808]
本稿では,最適化に基づくコミュニケーションリソース制約付き階層型学習フレームワークを提案する。
その結果,提案したCRCHFLは収束速度を加速し,フェデレーション学習自律運転モデルの一般化を促進することがわかった。
論文 参考訳(メタデータ) (2023-06-28T12:44:59Z) - Decentralized Federated Learning: A Survey and Perspective [66.53979312941439]
分散FL(DFL)は、中央サーバーを必要としない分散ネットワークアーキテクチャである。
DFLはクライアント間の直接通信を可能にし、通信リソースの大幅な節約をもたらす。
論文 参考訳(メタデータ) (2023-06-02T15:12:58Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳(メタデータ) (2023-03-19T06:00:05Z) - How Much Does It Cost to Train a Machine Learning Model over Distributed
Data Sources? [4.222078489059043]
フェデレーション学習は、デバイスが生データを共有せずに機械学習モデルをトレーニングすることを可能にする。
ゴシップフェデレーションラーニング(GFL)やブロックチェーン対応フェデレーションラーニング(BFL)のようなサーバーレスFLアプローチは、これらの問題を緩和するために提案されている。
GFLはトレーニング時間の18%、エネルギーの68%、データをCFLソリューションで共有する51%を節約できるが、CFLの精度に達することはできない。
BFLは、余分なエネルギー使用とデータ共有を犠牲にして、より高いレベルのセキュリティで分散学習を実装するための実行可能なソリューションである。
論文 参考訳(メタデータ) (2022-09-15T08:13:40Z) - DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning [2.43923223501858]
フェデレートラーニング(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。
クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。
DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
論文 参考訳(メタデータ) (2022-08-01T13:36:49Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳(メタデータ) (2022-01-27T08:43:11Z) - DACFL: Dynamic Average Consensus Based Federated Learning in
Decentralized Topology [4.234367850767171]
Federated Learning(FL)は、中央パラメータサーバが多くのローカルユーザをコーディネートして、グローバルに一貫したモデルをトレーニングする分散機械学習フレームワークである。
本稿では,DACFLという新しいDFL実装を考案し,各ユーザが独自のトレーニングデータを用いてモデルをトレーニングし,その中間モデルと近隣モデルとの交換を行う。
DACFLは、各ユーザのローカルトレーニングの進捗を離散時間プロセスとして扱い、PSの欠如をトラッキングするために、第1次動的平均コンセンサス(FODAC)手法を用いる。
論文 参考訳(メタデータ) (2021-11-10T03:00:40Z) - Decentralized Federated Learning: Balancing Communication and Computing
Costs [21.694468026280806]
分散統合学習(DFL)は分散機械学習の強力なフレームワークである。
本稿では,コミュニケーション効率と収束性能のバランスをとるための汎用的な分散化フェデレーション学習フレームワークを提案する。
MNISTとCIFAR-10データセットに基づく実験結果は、従来の分散SGD法よりもDFLの方が優れていることを示している。
論文 参考訳(メタデータ) (2021-07-26T09:09:45Z) - A Framework for Energy and Carbon Footprint Analysis of Distributed and
Federated Edge Learning [48.63610479916003]
本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。
バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。
その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
論文 参考訳(メタデータ) (2021-03-18T16:04:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。