論文の概要: Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2310.03461v2
• Date: Sat, 12 Oct 2024 08:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 21:41:10.298768
• Title: Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning
• Title（参考訳）: 集中型・分散型フェデレーションラーニングにおける一般化と安定ギャップの理解に向けて
• Authors: Yan Sun, Li Shen, Dacheng Tao,
• Abstract要約: 集中学習は常に分散学習(DFL)よりも一般化されていることを示す。 また、FLにおけるいくつかの一般的な設定について実験を行い、我々の理論解析が実験的な現象と一致し、いくつかの一般的なシナリオおよび実践シナリオにおいて文脈的に有効であることを示す。
• 参考スコア（独自算出の注目度）: 57.35402286842029
• License:
• Abstract: As two mainstream frameworks in federated learning (FL), both centralized and decentralized approaches have shown great application value in practical scenarios. However, existing studies do not provide sufficient evidence and clear guidance for analysis of which performs better in the FL community. Although decentralized methods have been proven to approach the comparable convergence of centralized with less communication, their test performance always falls short of expectations in empirical studies. To comprehensively and fairly compare their efficiency gaps in FL, in this paper, we explore their stability and generalization efficiency. Specifically, we prove that on the general smooth non-convex objectives, 1) centralized FL (CFL) always generalizes better than decentralized FL (DFL); 2) CFL achieves the best performance via adopting partial participation instead of full participation; and, 3) there is a necessary requirement for the topology in DFL to avoid performance collapse as the training scale increases. We also conduct extensive experiments on several common setups in FL to validate that our theoretical analysis is consistent with experimental phenomena and contextually valid in several general and practical scenarios.
• Abstract（参考訳）: 連邦学習(FL)における2つの主要なフレームワークとして、集中型と分散型の両方のアプローチは、実践的なシナリオにおいて大きなアプリケーション価値を示してきた。 しかし、既存の研究は、FLコミュニティにおいてより優れた結果をもたらす十分な証拠や分析のための明確なガイダンスを提供していない。 分散化手法はコミュニケーションの少ない集中型の収束にアプローチすることが証明されているが、そのテスト性能は実証的研究では期待に届かなかった。 本稿では,FLにおける効率ギャップを包括的かつ公平に比較するため,その安定性と一般化効率について検討する。 具体的には、一般の滑らかな非凸目的について証明する。 1) 集中型FL(CFL)は常に分散型FL(DFL)よりもよく一般化される。 2) CFLは,完全参加ではなく部分参加を採用することで,最高のパフォーマンスを達成する。 3)DFLのトポロジには,トレーニングスケールが大きくなるにつれて性能が低下するのを避ける必要がある。 我々はまた、FLにおけるいくつかの一般的な設定について広範な実験を行い、我々の理論解析が実験的な現象と一致し、いくつかの一般的なシナリオおよび実践シナリオにおいて文脈的に有効であることを示す。

関連論文リスト

• OledFL: Unleashing the Potential of Decentralized Federated Learning via Opposite Lookahead Enhancement [21.440625995788974]
  分散フェデレートラーニング(DFL)は、より高速なトレーニング、プライバシ保護、ライトコミュニケーションという観点で、フェデレーションラーニング(CFL)を超越している。 しかし、DFLは一般化能力の観点からもCFLと大きな相違が見られる。
  論文  参考訳（メタデータ） (2024-10-09T02:16:14Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Real-World Federated Learning in Radiology: Hurdles to overcome and Benefits to gain [2.8048919658768523]
  フェデレートラーニング(FL)は、データをローカルに保持しながら協調的なモデルトレーニングを可能にする。 現在、ラジオロジーにおけるほとんどのFL研究は、シミュレーション環境で行われている。 現実のFLイニシアチブがこれらのハードルを克服するために取られた具体的な措置を伝えることはめったにない。
  論文  参考訳（メタデータ） (2024-05-15T15:04:27Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• FLAGS Framework for Comparative Analysis of Federated Learning Algorithms [0.0]
  この研究は、フェデレートラーニングのランドスケープを統合し、主要なFLアルゴリズムの客観的分析を提供する。 FLAGS: Federated Learning AlGorithms Simulationを開発した。 実験の結果,完全分散FLアルゴリズムは複数の動作条件下で同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T12:08:30Z)
• Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges [0.0]
  フェデレートラーニング(FL)は、機密データを共有せずに協調モデルのトレーニングに関連がある。 分散フェデレートラーニング(DFL)は、分散モデルアグリゲーションを促進することでこれらの問題に対処する。 本稿では,DFLの主な基礎を,フェデレーションアーキテクチャ,トポロジ,通信機構,セキュリティアプローチ,キーパフォーマンス指標の観点から同定し,解析する。
  論文  参考訳（メタデータ） (2022-11-15T18:51:20Z)
• ISFL: Federated Learning for Non-i.i.d. Data with Local Importance Sampling [17.29669920752378]
  理論的保証のある明示的な枠組みであるISFLを提案する。 我々はISFLの収束定理を導出し、局所的な重要度サンプリングの効果を含む。 我々は、IS重みを計算し、ISFLアルゴリズムを開発するために、水充填法を用いる。
  論文  参考訳（メタデータ） (2022-10-05T09:43:58Z)
• UniFed: All-In-One Federated Learning Platform to Unify Open-Source Frameworks [53.20176108643942]
  オープンソースフェデレートラーニング(FL)フレームワークを標準化する最初の統一プラットフォームであるUniFedを紹介します。 UniFedは、分散実験とデプロイメントのためのエンドツーエンドワークフローを合理化し、11の人気のあるオープンソースFLフレームワークを含んでいる。 機能、プライバシ保護、パフォーマンスの観点から、11の人気のあるFLフレームワークを評価し比較する。
  論文  参考訳（メタデータ） (2022-07-21T05:03:04Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。