論文の概要: DACFL: Dynamic Average Consensus Based Federated Learning in Decentralized Topology

• arxiv url: http://arxiv.org/abs/2111.05505v1
• Date: Wed, 10 Nov 2021 03:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 22:46:31.120095
• Title: DACFL: Dynamic Average Consensus Based Federated Learning in Decentralized Topology
• Title（参考訳）: dacfl: 分散トポロジにおける動的平均コンセンサスに基づく連合学習
• Authors: Zhikun Chen, Daofeng Li, Jinkang Zhu and Sihai Zhang
• Abstract要約: Federated Learning(FL)は、中央パラメータサーバが多くのローカルユーザをコーディネートして、グローバルに一貫したモデルをトレーニングする分散機械学習フレームワークである。 本稿では,DACFLという新しいDFL実装を考案し,各ユーザが独自のトレーニングデータを用いてモデルをトレーニングし,その中間モデルと近隣モデルとの交換を行う。 DACFLは、各ユーザのローカルトレーニングの進捗を離散時間プロセスとして扱い、PSの欠如をトラッキングするために、第1次動的平均コンセンサス(FODAC)手法を用いる。
• 参考スコア（独自算出の注目度）: 4.234367850767171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a burgeoning distributed machine learning framework where a central parameter server (PS) coordinates many local users to train a globally consistent model. Conventional federated learning inevitably relies on a centralized topology with a PS. As a result, it will paralyze once the PS fails. To alleviate such a single point failure, especially on the PS, some existing work has provided decentralized FL (DFL) implementations like CDSGD and D-PSGD to facilitate FL in a decentralized topology. However, there are still some problems with these methods, e.g., significant divergence between users' final models in CDSGD and a network-wide model average necessity in D-PSGD. In order to solve these deficiency, this paper devises a new DFL implementation coined as DACFL, where each user trains its model using its own training data and exchanges the intermediate models with its neighbors through a symmetric and doubly stochastic matrix. The DACFL treats the progress of each user's local training as a discrete-time process and employs a first order dynamic average consensus (FODAC) method to track the \textit{average model} in the absence of the PS. In this paper, we also provide a theoretical convergence analysis of DACFL on the premise of i.i.d data to strengthen its rationality. The experimental results on MNIST, Fashion-MNIST and CIFAR-10 validate the feasibility of our solution in both time-invariant and time-varying network topologies, and declare that DACFL outperforms D-PSGD and CDSGD in most cases.
• Abstract（参考訳）: Federated Learning(FL)は、中央パラメータサーバ(PS)が多くのローカルユーザをコーディネートして、グローバルに一貫したモデルをトレーニングする、急成長中の分散機械学習フレームワークである。 従来の連合学習は必然的にPSによる集中トポロジーに依存している。 結果としてPSが故障すると麻痺する。 このような単一障害、特にPSにおいて緩和するために、いくつかの既存の研究は、分散トポロジにおいてFLを促進するためにCDSGDやD-PSGDのような分散FL(DFL)の実装を提供してきた。 しかし、CDSGDにおけるユーザの最終モデルとD-PSGDにおけるネットワーク全体のモデル平均値との相違など、これらの手法にはまだいくつかの問題がある。 そこで本研究では,DACFLと呼ばれる新しいDFL実装を考案し,各ユーザが自身のトレーニングデータを用いてモデルをトレーニングし,その中間モデルを対称的かつ2倍の確率行列で隣人と交換する。 dacflは、各ユーザのローカルトレーニングの進捗を離散時間プロセスとして扱い、psがないときに \textit{average model} を追跡するために、first order dynamic average consensus (fodac) メソッドを使用する。 本稿では,DACFLの合理性を高めるために,i.dデータに基づく理論的収束解析も提供する。 mnist,fashion-mnist,cifar-10の実験結果は,時間不変および時間変動ネットワークトポロジーにおける解の実現可能性を検証するとともに,ほとんどの場合においてd-psgdおよびcdsgdよりもdacflの方が優れていることを宣言した。

関連論文リスト

• Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme [5.5058010121503]
  分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。 本稿では, DA-DPFL という新しいテクスチャパース・ツー・スパーサー・トレーニング手法を提案する。 実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:03:34Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Event-Triggered Decentralized Federated Learning over Resource-Constrained Edge Devices [12.513477328344255]
  Federated Learning (FL)は分散機械学習(ML)のための技術である 従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。 我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-11-23T00:04:05Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。