論文の概要: Which mode is better for federated learning? Centralized or
Decentralized
- arxiv url: http://arxiv.org/abs/2310.03461v1
- Date: Thu, 5 Oct 2023 11:09:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 16:34:23.806720
- Title: Which mode is better for federated learning? Centralized or
Decentralized
- Title(参考訳): 連合学習にはどのモードがよいか?
中央集権化または分散化
- Authors: Yan Sun, Li Shen, Dacheng Tao
- Abstract要約: 集中型と分散型の両方のアプローチは、フェデレートラーニング(FL)における優れたパフォーマンスと優れた応用価値を示している。
しかし、現在の研究では、どちらが優れているかを示す証拠は示されていない。
- 参考スコア(独自算出の注目度): 64.46017397813549
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Both centralized and decentralized approaches have shown excellent
performance and great application value in federated learning (FL). However,
current studies do not provide sufficient evidence to show which one performs
better. Although from the optimization perspective, decentralized methods can
approach the comparable convergence of centralized methods with less
communication, its test performance has always been inefficient in empirical
studies. To comprehensively explore their behaviors in FL, we study their
excess risks, including the joint analysis of both optimization and
generalization. We prove that on smooth non-convex objectives, 1) centralized
FL (CFL) always generalizes better than decentralized FL (DFL); 2) from
perspectives of the excess risk and test error in CFL, adopting partial
participation is superior to full participation; and, 3) there is a necessary
requirement for the topology in DFL to avoid performance collapse as the
training scale increases. Based on some simple hardware metrics, we could
evaluate which framework is better in practice. Extensive experiments are
conducted on common setups in FL to validate that our theoretical analysis is
contextually valid in practical scenarios.
- Abstract(参考訳): 集中型と分散型の両方のアプローチは、フェデレートラーニング(FL)における優れたパフォーマンスと優れたアプリケーション価値を示している。
しかし、現在の研究では、どちらが優れているかを示す十分な証拠が得られていない。
最適化の観点からは、分散化手法はコミュニケーションの少ない集中型手法の同等の収束にアプローチできるが、そのテスト性能は経験的研究において常に非効率である。
FLにおけるそれらの挙動を包括的に調査するため,最適化と一般化の併用分析を含む余剰リスクについて検討した。
滑らかな非凸目的について証明する。
1) 集中型FL(CFL)は常に分散型FL(DFL)よりもよく一般化される。
2) CFLにおける過大なリスクとテストエラーの観点からは,部分的参加は完全参加よりも優れている。
3)DFLのトポロジには,トレーニングスケールが大きくなるにつれて性能が低下するのを避ける必要がある。
いくつかの単純なハードウェアメトリクスに基づいて、どのフレームワークが実際より優れているかを評価することができた。
FLの一般的な構成を用いて、我々の理論解析が実践シナリオにおいて文脈的に有効であることを示す。
関連論文リスト
- Decentralized Sporadic Federated Learning: A Unified Methodology with
Generalized Convergence Guarantees [19.571001440750234]
両プロセスに散発性の概念を一般化したDFL手法である分散散発的フェデレートラーニング(texttDSpodFL$)を提案する。
我々は$textttDSpodFL$の収束挙動を解析的に特徴づけ、幾何収束率を有限の最適性ギャップに一致させることができることを示す。
論文 参考訳(メタデータ) (2024-02-05T19:02:19Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - Understanding How Consistency Works in Federated Learning via Stage-wise
Relaxed Initialization [84.42306265220274]
フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。
従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。
FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
論文 参考訳(メタデータ) (2023-06-09T06:55:15Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - FLAGS Framework for Comparative Analysis of Federated Learning
Algorithms [0.0]
この研究は、フェデレートラーニングのランドスケープを統合し、主要なFLアルゴリズムの客観的分析を提供する。
FLAGS: Federated Learning AlGorithms Simulationを開発した。
実験の結果,完全分散FLアルゴリズムは複数の動作条件下で同等の精度が得られることがわかった。
論文 参考訳(メタデータ) (2022-12-14T12:08:30Z) - Decentralized Federated Learning: Fundamentals, State of the Art,
Frameworks, Trends, and Challenges [0.0]
フェデレートラーニング(FL)は、機密データを共有せずに協調モデルのトレーニングに関連がある。
分散フェデレートラーニング(DFL)は、分散モデルアグリゲーションを促進することでこれらの問題に対処する。
本稿では,DFLの主な基礎を,フェデレーションアーキテクチャ,トポロジ,通信機構,セキュリティアプローチ,キーパフォーマンス指標の観点から同定し,解析する。
論文 参考訳(メタデータ) (2022-11-15T18:51:20Z) - ISFL: Trustworthy Federated Learning for Non-i.i.d. Data with Local
Importance Sampling [11.806062800053699]
本稿では,特にニューラルネットワーク(NN)モデルと互換性のある重要サンプリングフェデレーション学習(ISFL)を提案する。
我々の知る限りでは、ISFLは、理論的なNN互換を示す局所的なサンプリングの側面から、最初の非i.d.FLソリューションである。
論文 参考訳(メタデータ) (2022-10-05T09:43:58Z) - Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。
サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。
新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
論文 参考訳(メタデータ) (2022-09-30T17:59:27Z) - DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning [2.43923223501858]
フェデレートラーニング(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。
クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。
DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
論文 参考訳(メタデータ) (2022-08-01T13:36:49Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳(メタデータ) (2022-06-14T13:12:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。