論文の概要: Not All Federated Learning Algorithms Are Created Equal: A Performance Evaluation Study

• arxiv url: http://arxiv.org/abs/2403.17287v1
• Date: Tue, 26 Mar 2024 00:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 17:05:31.378165
• Title: Not All Federated Learning Algorithms Are Created Equal: A Performance Evaluation Study
• Title（参考訳）: すべてのフェデレーション学習アルゴリズムが等しくなるわけではない:性能評価研究
• Authors: Gustav A. Baumgart, Jaemin Shin, Ali Payani, Myungjin Lee, Ramana Rao Kompella,
• Abstract要約: フェデレートラーニング(FL)は、分散データからモデルをトレーニングするための実践的なアプローチとして登場した。 このギャップを埋めるために、いくつかの標準FLアルゴリズムで広範な性能評価を行う。 我々の総合的な測定結果から、異なるパフォーマンス指標に対して1つのアルゴリズムが最善を尽くさないことが判明した。
• 参考スコア（独自算出の注目度）: 1.9265466185360185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) emerged as a practical approach to training a model from decentralized data. The proliferation of FL led to the development of numerous FL algorithms and mechanisms. Many prior efforts have given their primary focus on accuracy of those approaches, but there exists little understanding of other aspects such as computational overheads, performance and training stability, etc. To bridge this gap, we conduct extensive performance evaluation on several canonical FL algorithms (FedAvg, FedProx, FedYogi, FedAdam, SCAFFOLD, and FedDyn) by leveraging an open-source federated learning framework called Flame. Our comprehensive measurement study reveals that no single algorithm works best across different performance metrics. A few key observations are: (1) While some state-of-the-art algorithms achieve higher accuracy than others, they incur either higher computation overheads (FedDyn) or communication overheads (SCAFFOLD). (2) Recent algorithms present smaller standard deviation in accuracy across clients than FedAvg, indicating that the advanced algorithms' performances are stable. (3) However, algorithms such as FedDyn and SCAFFOLD are more prone to catastrophic failures without the support of additional techniques such as gradient clipping. We hope that our empirical study can help the community to build best practices in evaluating FL algorithms.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散データからモデルをトレーニングするための実践的なアプローチとして登場した。 FLの増殖は、多くのFLアルゴリズムとメカニズムの開発につながった。 これまでの多くの取り組みでは、これらのアプローチの正確性に重点を置いてきたが、計算上のオーバーヘッドやパフォーマンス、トレーニングの安定性など、他の側面についてはほとんど理解されていない。 このギャップを埋めるために、Flameと呼ばれるオープンソースのフェデレート学習フレームワークを利用することで、いくつかの標準FLアルゴリズム(FedAvg、FedProx、FedYogi、FedAdam、SCAFFOLD、FedDyn)の性能評価を行う。 我々の総合的な測定結果から、異なるパフォーマンス指標に対して1つのアルゴリズムが最善を尽くさないことが判明した。 1) 最先端のアルゴリズムは、他のアルゴリズムよりも高い精度を達成するが、高い計算オーバーヘッド(FedDyn)または通信オーバーヘッド(SCAFFOLD)を発生させる。 2)最近のアルゴリズムでは、FedAvgよりもクライアント間での精度の標準偏差が小さくなり、高度なアルゴリズムの性能が安定していることが示されている。 しかし、FedDynやSCAFFOLDのようなアルゴリズムは、勾配クリッピングなどの追加技術をサポートせずに破滅的な失敗をしがちである。 FLアルゴリズムの評価において,コミュニティがベストプラクティスを構築する上で,私たちの経験的研究が有効であることを願っています。

関連論文リスト

• Where is the Testbed for my Federated Learning Research? [3.910931245706272]
  本稿では,連邦学習(FL)研究のための実世界テストベッドであるCoLExTを紹介する。 CoLExTは、リッチなテストベッド構成空間におけるカスタムFLアルゴリズムの実験を合理化するように設計されている。 CoLExT上で動作する一般的なFLアルゴリズムに関する最初の調査を通じて、これまで未知のトレードオフ、非効率性、およびプログラミングバグを明らかにした。
  論文  参考訳（メタデータ） (2024-07-19T09:34:04Z)
• Federated Ensemble YOLOv5 -- A Better Generalized Object Detection Algorithm [0.0]
  フェデレートラーニング(FL)はプライバシー保護アルゴリズムとして大きな注目を集めている。 本稿では,物体検出へのFLの適用を一般化性を高める手法として検討する。
  論文  参考訳（メタデータ） (2023-06-30T17:50:00Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• FLAGS Framework for Comparative Analysis of Federated Learning Algorithms [0.0]
  この研究は、フェデレートラーニングのランドスケープを統合し、主要なFLアルゴリズムの客観的分析を提供する。 FLAGS: Federated Learning AlGorithms Simulationを開発した。 実験の結果,完全分散FLアルゴリズムは複数の動作条件下で同等の精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T12:08:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。