論文の概要: Improving the Model Consistency of Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2302.04083v2
• Date: Fri, 9 Jun 2023 12:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 17:37:11.413157
• Title: Improving the Model Consistency of Decentralized Federated Learning
• Title（参考訳）: 分散学習におけるモデル一貫性の改善
• Authors: Yifan Shi, Li Shen, Kang Wei, Yan Sun, Bo Yuan, Xueqian Wang, Dacheng Tao
• Abstract要約: フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
• 参考スコア（独自算出の注目度）: 68.2795379609854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To mitigate the privacy leakages and communication burdens of Federated Learning (FL), decentralized FL (DFL) discards the central server and each client only communicates with its neighbors in a decentralized communication network. However, existing DFL suffers from high inconsistency among local clients, which results in severe distribution shift and inferior performance compared with centralized FL (CFL), especially on heterogeneous data or sparse communication topology. To alleviate this issue, we propose two DFL algorithms named DFedSAM and DFedSAM-MGS to improve the performance of DFL. Specifically, DFedSAM leverages gradient perturbation to generate local flat models via Sharpness Aware Minimization (SAM), which searches for models with uniformly low loss values. DFedSAM-MGS further boosts DFedSAM by adopting Multiple Gossip Steps (MGS) for better model consistency, which accelerates the aggregation of local flat models and better balances communication complexity and generalization. Theoretically, we present improved convergence rates $\small \mathcal{O}\big(\frac{1}{\sqrt{KT}}+\frac{1}{T}+\frac{1}{K^{1/2}T^{3/2}(1-\lambda)^2}\big)$ and $\small \mathcal{O}\big(\frac{1}{\sqrt{KT}}+\frac{1}{T}+\frac{\lambda^Q+1}{K^{1/2}T^{3/2}(1-\lambda^Q)^2}\big)$ in non-convex setting for DFedSAM and DFedSAM-MGS, respectively, where $1-\lambda$ is the spectral gap of gossip matrix and $Q$ is the number of MGS. Empirically, our methods can achieve competitive performance compared with CFL methods and outperform existing DFL methods.
• Abstract（参考訳）: フェデレートラーニング(FL)のプライバシー漏洩と通信負担を軽減するため、分散FL(DFL)は中央サーバを捨て、各クライアントは、分散化された通信ネットワークにおいて隣人とのみ通信する。 しかし、既存のDFLは、特に異種データや疎通信トポロジにおいて、集中型FL(CFL)と比較して、分布シフトと性能の低下をもたらすローカルクライアント間の不整合に悩まされている。 この問題を軽減するために,DFedSAMとDFedSAM-MGSという2つのDFLアルゴリズムを提案する。 具体的には、DFedSAMは勾配の摂動を利用してシャープネス認識最小化(SAM)を介して局所的な平坦なモデルを生成する。 DFedSAM-MGSはさらに、複数のGossip Steps(MGS)を採用して、モデルの一貫性を改善し、局所的なフラットモデルの集約を加速し、通信の複雑さと一般化のバランスを改善することで、DFedSAMをさらに強化する。 理論的には、改善収束率 $\small \mathcal{O}\big(\frac{1}{\sqrt{KT}}+\frac{1}{K^{1/2}T^{3/2}(1-\lambda)^2}\big)$と$\small \mathcal{O}\big(\frac{1}{\sqrt{KT}}+\frac{1}{T}+\frac{\lambda^Q+1}{K^{1/2}T^{3/2}(1-\lambda^Q)^2}\big)$はそれぞれDFedSAMとDFedSAM-MGSの非凸設定において、1-\lambda$はゴシップのギャップであり、$QはMGSのギャップである。 実験により,提案手法は既存のDFL法よりも優れ,CFL法と比較して競争性能が向上する。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations [35.58487905412915]
  異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。 本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-05-11T11:55:26Z)
• Asymmetrically Decentralized Federated Learning [22.21977974314497]
  分散フェデレーションラーニング(DFL)が出現し、ピアツーピア(P2P)通信フレームワークでサーバを破棄する。 本稿では,非対称トポロジに基づくPush-Awareプロトコルを用いたDFedSGPSMアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-08T09:46:26Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning [2.43923223501858]
  フェデレートラーニング(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。 クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。 DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
  論文  参考訳（メタデータ） (2022-08-01T13:36:49Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning [58.6792963686231]
  フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。 WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。 局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。