論文の概要: Asymmetrically Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2310.05093v1
- Date: Sun, 8 Oct 2023 09:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 12:33:34.360520
- Title: Asymmetrically Decentralized Federated Learning
- Title（参考訳）: 非対称分散連合学習
- Authors: Qinglun Li, Miao Zhang, Nan Yin, Quanjun Yin, Li Shen
- Abstract要約: 分散フェデレーションラーニング(DFL)が出現し、ピアツーピア(P2P)通信フレームワークでサーバを破棄する。
本稿では,非対称トポロジに基づくPush-Awareプロトコルを用いたDFedSGPSMアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 22.21977974314497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To address the communication burden and privacy concerns associated with the
centralized server in Federated Learning (FL), Decentralized Federated Learning
(DFL) has emerged, which discards the server with a peer-to-peer (P2P)
communication framework. However, most existing DFL algorithms are based on
symmetric topologies, such as ring and grid topologies, which can easily lead
to deadlocks and are susceptible to the impact of network link quality in
practice. To address these issues, this paper proposes the DFedSGPSM algorithm,
which is based on asymmetric topologies and utilizes the Push-Sum protocol to
effectively solve consensus optimization problems. To further improve algorithm
performance and alleviate local heterogeneous overfitting in Federated Learning
(FL), our algorithm combines the Sharpness Aware Minimization (SAM) optimizer
and local momentum. The SAM optimizer employs gradient perturbations to
generate locally flat models and searches for models with uniformly low loss
values, mitigating local heterogeneous overfitting. The local momentum
accelerates the optimization process of the SAM optimizer. Theoretical analysis
proves that DFedSGPSM achieves a convergence rate of
$\mathcal{O}(\frac{1}{\sqrt{T}})$ in a non-convex smooth setting under mild
assumptions. This analysis also reveals that better topological connectivity
achieves tighter upper bounds. Empirically, extensive experiments are conducted
on the MNIST, CIFAR10, and CIFAR100 datasets, demonstrating the superior
performance of our algorithm compared to state-of-the-art optimizers.
- Abstract（参考訳）: フェデレートラーニング(FL)における集中型サーバに関連する通信負担とプライバシの問題に対処するため、分散フェデレーションラーニング(DFL)が出現し、ピアツーピア(P2P)通信フレームワークでサーバを破棄する。
しかし、既存のdflアルゴリズムの多くは、リングトポロジやグリッドトポロジなどの対称位相に基づいているため、デッドロックが発生しやすく、実際にはネットワークリンク品質の影響に影響を受けやすい。
そこで本稿では,非対称トポロジに基づくDFedSGPSMアルゴリズムを提案し,Push-Sumプロトコルを用いてコンセンサス最適化問題を効果的に解く。
フェデレートラーニング(FL)におけるアルゴリズム性能の向上と局所的ヘテロジニアスオーバーフィッティングの緩和を目的として,シャープネス認識最小化(SAM)最適化と局所運動量を組み合わせたアルゴリズムを提案する。
SAMオプティマイザは勾配摂動を用いて局所的な平坦なモデルを生成し、一様に損失値の低いモデルを探し、局所的な均一なオーバーフィッティングを緩和する。
局所運動量はSAMオプティマイザの最適化プロセスを加速させる。
理論的解析により、DFedSGPSM は穏やかな仮定の下で非凸な滑らかな設定で $\mathcal{O}(\frac{1}{\sqrt{T}})$ の収束率を達成することが証明される。
この分析により、より優れたトポロジカル接続がより強固な上界を実現することが明らかになった。
実験的に、MNIST、CIFAR10、CIFAR100データセットに対して広範な実験を行い、最先端オプティマイザと比較してアルゴリズムの性能が優れていることを示した。
関連論文リスト
- Fast Decentralized Gradient Tracking for Federated Minimax Optimization with Local Updates [5.269633789700637]
textttK-GT-Minimaxのデータ不均一性を扱う能力は、フェデレートされた学習研究と応用の進展において、その重要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-05-07T17:25:56Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Learner Referral for Cost-Effective Federated Learning Over Hierarchical
IoT Networks [21.76836812021954]
本稿では,連合選択(LRef-FedCS),通信資源,局所モデル精度(LMAO)手法を支援する。
提案したLRef-FedCSアプローチは,高いグローバル精度とコスト削減のバランスをとることができる。
論文 参考訳（メタデータ） (2023-07-19T13:33:43Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - DESTRESS: Computation-Optimal and Communication-Efficient Decentralized
Nonconvex Finite-Sum Optimization [43.31016937305845]
インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。
非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。
詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
論文 参考訳（メタデータ） (2021-10-04T03:17:41Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。