論文の概要: Decentralized Sporadic Federated Learning: A Unified Methodology with
Generalized Convergence Guarantees
- arxiv url: http://arxiv.org/abs/2402.03448v1
- Date: Mon, 5 Feb 2024 19:02:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 18:09:53.174287
- Title: Decentralized Sporadic Federated Learning: A Unified Methodology with
Generalized Convergence Guarantees
- Title(参考訳): 分散散発的フェデレーション学習:一般化収束保証を伴う統一方法論
- Authors: Shahryar Zehtabi, Dong-Jun Han, Rohit Parasnis, Seyyedali
Hosseinalipour, Christopher G. Brinton
- Abstract要約: 両プロセスに散発性の概念を一般化したDFL手法である分散散発的フェデレートラーニング(texttDSpodFL$)を提案する。
我々は$textttDSpodFL$の収束挙動を解析的に特徴づけ、幾何収束率を有限の最適性ギャップに一致させることができることを示す。
- 参考スコア(独自算出の注目度): 19.571001440750234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized Federated Learning (DFL) has received significant recent
research attention, capturing settings where both model updates and model
aggregations -- the two key FL processes -- are conducted by the clients. In
this work, we propose Decentralized Sporadic Federated Learning
($\texttt{DSpodFL}$), a DFL methodology which generalizes the notion of
sporadicity in both of these processes, modeling the impact of different forms
of heterogeneity that manifest in realistic DFL settings. $\texttt{DSpodFL}$
unifies many of the prominent decentralized optimization methods, e.g.,
distributed gradient descent (DGD), randomized gossip (RG), and decentralized
federated averaging (DFedAvg), under a single modeling framework. We
analytically characterize the convergence behavior of $\texttt{DSpodFL}$,
showing, among other insights, that we can match a geometric convergence rate
to a finite optimality gap under more general assumptions than in existing
works. Through experiments, we demonstrate that $\texttt{DSpodFL}$ achieves
significantly improved training speeds and robustness to variations in system
parameters compared to the state-of-the-art.
- Abstract(参考訳): 分散連合学習(dfl)は近年、クライアントがモデル更新とモデル集約の両方を行うという、重要な研究の注目を集めている。
本研究では,両プロセスにおける散発性の概念を一般化し,現実的なDFL設定で表される異質性の異なる形態の影響をモデル化するDFL方法論である分散散発的フェデレートラーニング(Decentralized Sporadic Federated Learning)(\textt{DSpodFL}$)を提案する。
$\texttt{DSpodFL}$は、分散勾配降下(DGD)、ランダム化ゴシップ(RG)、分散化フェデレーション平均化(DFedAvg)など、主要な分散最適化手法の多くを単一のモデリングフレームワークで統合する。
我々は $\texttt{DSpodFL}$ の収束挙動を解析的に特徴づけ、幾何収束率を既存の研究よりも一般的な仮定の下で有限最適性ギャップに一致させることができることを示す。
実験により、$\texttt{DSpodFL}$は、最先端技術と比較して、システムのパラメータの変化に対するトレーニング速度とロバスト性を大幅に改善することを示した。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Every Parameter Matters: Ensuring the Convergence of Federated Learning
with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。
近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。
本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文 参考訳(メタデータ) (2023-10-12T19:07:58Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳(メタデータ) (2023-08-16T11:22:36Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳(メタデータ) (2022-06-14T13:12:12Z) - Decentralized Event-Triggered Federated Learning with Heterogeneous
Communication Thresholds [12.513477328344255]
ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。
本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
論文 参考訳(メタデータ) (2022-04-07T20:35:37Z) - On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文 参考訳(メタデータ) (2022-01-27T20:43:38Z) - MDPGT: Momentum-based Decentralized Policy Gradient Tracking [29.22173174168708]
マルチエージェント強化学習のための運動量に基づく分散型ポリシー勾配追跡(MDPGT)を提案する。
MDPGTは、グローバル平均の$N$ローカルパフォーマンス関数の$epsilon-stationaryポイントに収束するために$mathcalO(N-1epsilon-3)$の最良のサンプル複雑性を実現する。
これは、分散モデルレス強化学習における最先端のサンプル複雑さよりも優れています。
論文 参考訳(メタデータ) (2021-12-06T06:55:51Z) - The Gradient Convergence Bound of Federated Multi-Agent Reinforcement
Learning with Efficient Communication [20.891460617583302]
連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討
FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。
本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T07:21:43Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳(メタデータ) (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。