論文の概要: Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme

• arxiv url: http://arxiv.org/abs/2404.15943v2
• Date: Thu, 25 Apr 2024 08:53:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 18:51:25.110061
• Title: Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme
• Title（参考訳）: 条件付きスパース・トゥ・スパーサ・スキームに基づく分散個人化フェデレーションラーニング
• Authors: Qianyu Long, Qiyuan Wang, Christos Anagnostopoulos, Daning Bi,
• Abstract要約: 分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。 本稿では, DA-DPFL という新しいテクスチャパース・ツー・スパーサー・トレーニング手法を提案する。 実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 5.5058010121503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized Federated Learning (DFL) has become popular due to its robustness and avoidance of centralized coordination. In this paradigm, clients actively engage in training by exchanging models with their networked neighbors. However, DFL introduces increased costs in terms of training and communication. Existing methods focus on minimizing communication often overlooking training efficiency and data heterogeneity. To address this gap, we propose a novel \textit{sparse-to-sparser} training scheme: DA-DPFL. DA-DPFL initializes with a subset of model parameters, which progressively reduces during training via \textit{dynamic aggregation} and leads to substantial energy savings while retaining adequate information during critical learning periods. Our experiments showcase that DA-DPFL substantially outperforms DFL baselines in test accuracy, while achieving up to $5$ times reduction in energy costs. We provide a theoretical analysis of DA-DPFL's convergence by solidifying its applicability in decentralized and personalized learning. The code is available at:https://github.com/EricLoong/da-dpfl
• Abstract（参考訳）: 分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。 このパラダイムでは、クライアントは、ネットワーク化された隣人とモデルを交換することで、トレーニングを積極的に行う。 しかし、DFLはトレーニングやコミュニケーションの面でコストを増大させる。 既存の方法は、訓練効率とデータの異質性を見越して、コミュニケーションを最小化することに焦点を当てている。 このギャップに対処するために,新しい「textit{sparse-to-sparser}」トレーニングスキーム,DA-DPFLを提案する。 DA-DPFL はモデルパラメータのサブセットで初期化され、これは textit{dynamic aggregate} を通じてトレーニング中に徐々に減少し、臨界学習期間中に適切な情報を保持しながらかなりのエネルギー節約につながる。 実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。 分散学習およびパーソナライズ学習におけるDA-DPFLの適用性を固めることにより,DA-DPFLの収束を理論的に分析する。 コードは、https://github.com/EricLoong/da-dpflで入手できる。

関連論文リスト

• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Adaptive Decentralized Federated Learning in Energy and Latency Constrained Wireless Networks [4.03161352925235]
  中央ノードで集約されたパラメータを持つフェデレートラーニング(FL)では、通信オーバーヘッドがかなり懸念される。 最近の研究では、分散フェデレートラーニング(DFL)が実現可能な代替手段として紹介されている。 エネルギーと遅延の制約を考慮してDFLの損失関数を最小化する問題を定式化する。
  論文  参考訳（メタデータ） (2024-03-29T09:17:40Z)
• Decentralized Federated Learning: A Survey and Perspective [45.81975053649379]
  分散FL(DFL)は、中央サーバーを必要としない分散ネットワークアーキテクチャである。 DFLはクライアント間の直接通信を可能にし、通信リソースの大幅な節約をもたらす。
  論文  参考訳（メタデータ） (2023-06-02T15:12:58Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• How Much Does It Cost to Train a Machine Learning Model over Distributed Data Sources? [4.222078489059043]
  フェデレーション学習は、デバイスが生データを共有せずに機械学習モデルをトレーニングすることを可能にする。 ゴシップフェデレーションラーニング(GFL)やブロックチェーン対応フェデレーションラーニング(BFL)のようなサーバーレスFLアプローチは、これらの問題を緩和するために提案されている。 GFLはトレーニング時間の18%、エネルギーの68%、データをCFLソリューションで共有する51%を節約できるが、CFLの精度に達することはできない。 BFLは、余分なエネルギー使用とデータ共有を犠牲にして、より高いレベルのセキュリティで分散学習を実装するための実行可能なソリューションである。
  論文  参考訳（メタデータ） (2022-09-15T08:13:40Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• DACFL: Dynamic Average Consensus Based Federated Learning in Decentralized Topology [4.234367850767171]
  Federated Learning(FL)は、中央パラメータサーバが多くのローカルユーザをコーディネートして、グローバルに一貫したモデルをトレーニングする分散機械学習フレームワークである。 本稿では,DACFLという新しいDFL実装を考案し,各ユーザが独自のトレーニングデータを用いてモデルをトレーニングし,その中間モデルと近隣モデルとの交換を行う。 DACFLは、各ユーザのローカルトレーニングの進捗を離散時間プロセスとして扱い、PSの欠如をトラッキングするために、第1次動的平均コンセンサス(FODAC)手法を用いる。
  論文  参考訳（メタデータ） (2021-11-10T03:00:40Z)
• Decentralized Federated Learning: Balancing Communication and Computing Costs [21.694468026280806]
  分散統合学習(DFL)は分散機械学習の強力なフレームワークである。 本稿では,コミュニケーション効率と収束性能のバランスをとるための汎用的な分散化フェデレーション学習フレームワークを提案する。 MNISTとCIFAR-10データセットに基づく実験結果は、従来の分散SGD法よりもDFLの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-26T09:09:45Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。