論文の概要: Which mode is better for federated learning? Centralized or Decentralized

• arxiv url: http://arxiv.org/abs/2310.03461v1
• Date: Thu, 5 Oct 2023 11:09:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:34:23.806720
• Title: Which mode is better for federated learning? Centralized or Decentralized
• Title（参考訳）: 連合学習にはどのモードがよいか? 中央集権化または分散化
• Authors: Yan Sun, Li Shen, Dacheng Tao
• Abstract要約: 集中型と分散型の両方のアプローチは、フェデレートラーニング(FL)における優れたパフォーマンスと優れた応用価値を示している。 しかし、現在の研究では、どちらが優れているかを示す証拠は示されていない。
• 参考スコア（独自算出の注目度）: 64.46017397813549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both centralized and decentralized approaches have shown excellent performance and great application value in federated learning (FL). However, current studies do not provide sufficient evidence to show which one performs better. Although from the optimization perspective, decentralized methods can approach the comparable convergence of centralized methods with less communication, its test performance has always been inefficient in empirical studies. To comprehensively explore their behaviors in FL, we study their excess risks, including the joint analysis of both optimization and generalization. We prove that on smooth non-convex objectives, 1) centralized FL (CFL) always generalizes better than decentralized FL (DFL); 2) from perspectives of the excess risk and test error in CFL, adopting partial participation is superior to full participation; and, 3) there is a necessary requirement for the topology in DFL to avoid performance collapse as the training scale increases. Based on some simple hardware metrics, we could evaluate which framework is better in practice. Extensive experiments are conducted on common setups in FL to validate that our theoretical analysis is contextually valid in practical scenarios.
• Abstract（参考訳）: 集中型と分散型の両方のアプローチは、フェデレートラーニング(FL)における優れたパフォーマンスと優れたアプリケーション価値を示している。 しかし、現在の研究では、どちらが優れているかを示す十分な証拠が得られていない。 最適化の観点からは、分散化手法はコミュニケーションの少ない集中型手法の同等の収束にアプローチできるが、そのテスト性能は経験的研究において常に非効率である。 FLにおけるそれらの挙動を包括的に調査するため,最適化と一般化の併用分析を含む余剰リスクについて検討した。 滑らかな非凸目的について証明する。 1) 集中型FL(CFL)は常に分散型FL(DFL)よりもよく一般化される。 2) CFLにおける過大なリスクとテストエラーの観点からは,部分的参加は完全参加よりも優れている。 3)DFLのトポロジには,トレーニングスケールが大きくなるにつれて性能が低下するのを避ける必要がある。 いくつかの単純なハードウェアメトリクスに基づいて、どのフレームワークが実際より優れているかを評価することができた。 FLの一般的な構成を用いて、我々の理論解析が実践シナリオにおいて文脈的に有効であることを示す。

関連論文リスト

• OledFL: Unleashing the Potential of Decentralized Federated Learning via Opposite Lookahead Enhancement [21.440625995788974]
  分散フェデレートラーニング(DFL)は、より高速なトレーニング、プライバシ保護、ライトコミュニケーションという観点で、フェデレーションラーニング(CFL)を超越している。 しかし、DFLは一般化能力の観点からもCFLと大きな相違が見られる。
  論文  参考訳（メタデータ） (2024-10-09T02:16:14Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Real-World Federated Learning in Radiology: Hurdles to overcome and Benefits to gain [2.8048919658768523]
  フェデレートラーニング(FL)は、データをローカルに保持しながら協調的なモデルトレーニングを可能にする。 現在、ラジオロジーにおけるほとんどのFL研究は、シミュレーション環境で行われている。 現実のFLイニシアチブがこれらのハードルを克服するために取られた具体的な措置を伝えることはめったにない。
  論文  参考訳（メタデータ） (2024-05-15T15:04:27Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• FLAGS Framework for Comparative Analysis of Federated Learning Algorithms [0.0]
  この研究は、フェデレートラーニングのランドスケープを統合し、主要なFLアルゴリズムの客観的分析を提供する。 FLAGS: Federated Learning AlGorithms Simulationを開発した。 実験の結果,完全分散FLアルゴリズムは複数の動作条件下で同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T12:08:30Z)
• Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges [0.0]
  フェデレートラーニング(FL)は、機密データを共有せずに協調モデルのトレーニングに関連がある。 分散フェデレートラーニング(DFL)は、分散モデルアグリゲーションを促進することでこれらの問題に対処する。 本稿では,DFLの主な基礎を,フェデレーションアーキテクチャ,トポロジ,通信機構,セキュリティアプローチ,キーパフォーマンス指標の観点から同定し,解析する。
  論文  参考訳（メタデータ） (2022-11-15T18:51:20Z)
• ISFL: Federated Learning for Non-i.i.d. Data with Local Importance Sampling [17.29669920752378]
  理論的保証のある明示的な枠組みであるISFLを提案する。 我々はISFLの収束定理を導出し、局所的な重要度サンプリングの効果を含む。 我々は、IS重みを計算し、ISFLアルゴリズムを開発するために、水充填法を用いる。
  論文  参考訳（メタデータ） (2022-10-05T09:43:58Z)
• UniFed: All-In-One Federated Learning Platform to Unify Open-Source Frameworks [53.20176108643942]
  オープンソースフェデレートラーニング(FL)フレームワークを標準化する最初の統一プラットフォームであるUniFedを紹介します。 UniFedは、分散実験とデプロイメントのためのエンドツーエンドワークフローを合理化し、11の人気のあるオープンソースFLフレームワークを含んでいる。 機能、プライバシ保護、パフォーマンスの観点から、11の人気のあるFLフレームワークを評価し比較する。
  論文  参考訳（メタデータ） (2022-07-21T05:03:04Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。