Fugu-MT 論文翻訳(概要): Decentralized Directed Collaboration for Personalized Federated Learning

論文の概要: Decentralized Directed Collaboration for Personalized Federated Learning

arxiv url: http://arxiv.org/abs/2405.17876v1
Date: Tue, 28 May 2024 06:52:19 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 20:07:07.497164
Title: Decentralized Directed Collaboration for Personalized Federated Learning
Title（参考訳）: 個人化フェデレーション学習のための分散型ダイレクトコラボレーション
Authors: Yingqi Liu, Yifan Shi, Qinglun Li, Baoyuan Wu, Xueqian Wang, Li Shen,
Abstract要約: 我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
参考スコア（独自算出の注目度）: 39.29794569421094
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Personalized Federated Learning (PFL) is proposed to find the greatest personalized models for each client. To avoid the central failure and communication bottleneck in the server-based FL, we concentrate on the Decentralized Personalized Federated Learning (DPFL) that performs distributed model training in a Peer-to-Peer (P2P) manner. Most personalized works in DPFL are based on undirected and symmetric topologies, however, the data, computation and communication resources heterogeneity result in large variances in the personalized models, which lead the undirected aggregation to suboptimal personalized performance and unguaranteed convergence. To address these issues, we propose a directed collaboration DPFL framework by incorporating stochastic gradient push and partial model personalized, called \textbf{D}ecentralized \textbf{Fed}erated \textbf{P}artial \textbf{G}radient \textbf{P}ush (\textbf{DFedPGP}). It personalizes the linear classifier in the modern deep model to customize the local solution and learns a consensus representation in a fully decentralized manner. Clients only share gradients with a subset of neighbors based on the directed and asymmetric topologies, which guarantees flexible choices for resource efficiency and better convergence. Theoretically, we show that the proposed DFedPGP achieves a superior convergence rate of $\mathcal{O}(\frac{1}{\sqrt{T}})$ in the general non-convex setting, and prove the tighter connectivity among clients will speed up the convergence. The proposed method achieves state-of-the-art (SOTA) accuracy in both data and computation heterogeneity scenarios, demonstrating the efficiency of the directed collaboration and partial gradient push.
Abstract（参考訳）: パーソナライズド・フェデレート・ラーニング(PFL)は、各クライアントに最適なパーソナライズされたモデルを見つけるために提案されている。サーバベースFLの中央的障害と通信ボトルネックを回避するため,P2P方式で分散モデルトレーニングを行う分散個人化フェデレーションラーニング(DPFL)に焦点を当てた。 DPFLのパーソナライズされた作品の多くは、非指向的および対称的なトポロジに基づくものであるが、データ、計算、通信資源の不均一性はパーソナライズされたモデルに大きなばらつきをもたらし、非指向的なアグリゲーションを最適でないパーソナライズされたパフォーマンスと非保証的な収束へと導く。これらの問題に対処するために、確率勾配プッシュとパーソナライズされた部分モデルを組み込んだDPFLフレームワークを提案し、それを分散化した \textbf{Fed}erated \textbf{P}artial \textbf{G}radient \textbf{P}ush (\textbf{DFedPGP}) と呼ぶ。局所解をカスタマイズするために、現代のディープモデルにおける線形分類器をパーソナライズし、完全に分散された方法でコンセンサス表現を学ぶ。クライアントは、リソース効率とより良い収束のための柔軟な選択を保証する有向トポロジと非対称なトポロジに基づいて、隣人のサブセットとグラデーションを共有するのみである。理論的には、提案したDFedPGPは一般的な非凸設定において$\mathcal{O}(\frac{1}{\sqrt{T}})$の優れた収束率を達成し、クライアント間の密接な接続が収束を加速することを示す。提案手法は,データと計算の不均一性の両方のシナリオにおいて,最先端(SOTA)の精度を達成し,協調作業の効率化と部分的な勾配プッシュを実証する。

関連論文リスト

Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
論文参考訳（メタデータ） (2024-02-05T19:02:19Z)
Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2024-01-16T12:45:15Z)
Federated Deep Equilibrium Learning: A Compact Shared Representation for Edge Communication Efficiency [12.440580969360218]
Federated Learning(FL)は、エッジネットワーク内のノード間のコラボレーションを容易にする分散学習パラダイムである。深層平衡学習とコンセンサス最適化を効果的に活用する先駆的なFLフレームワークであるFeDEQを紹介する。本稿では,乗算器コンセンサス最適化(ADMM)の交互方向法に根ざした分散アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-27T13:48:12Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文参考訳（メタデータ） (2023-05-24T13:52:18Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
フェデレートラーニング(FL)は、分散モデルトレーニングにおいて重要なパラダイムとして登場した。本稿では,局所的パラメータと平均的パラメータの分散を考慮した適応学習率反復アルゴリズムを提案する。提案したアルゴリズムに対して堅牢な収束保証を提供し,その適用性を確保する。
論文参考訳（メタデータ） (2023-03-28T08:07:28Z)
DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文参考訳（メタデータ） (2022-06-01T02:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。