論文の概要: FAVANO: Federated AVeraging with Asynchronous NOdes

• arxiv url: http://arxiv.org/abs/2305.16099v2
• Date: Wed, 22 Nov 2023 19:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 04:19:13.160983
• Title: FAVANO: Federated AVeraging with Asynchronous NOdes
• Title（参考訳）: FAVANO: 非同期NOdesを使ったフェデレーションアベリング
• Authors: Louis Leconte, Van Minh Nguyen, Eric Moulines
• Abstract要約: 本稿では,資源制約環境下でのディープニューラルネットワーク(DNN)のトレーニングのための,新しい集中型非同期フェデレートラーニング(FL)フレームワークであるFAVANOを提案する。
• 参考スコア（独自算出の注目度）: 14.412305295989444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel centralized Asynchronous Federated Learning (FL) framework, FAVANO, for training Deep Neural Networks (DNNs) in resource-constrained environments. Despite its popularity, ``classical'' federated learning faces the increasingly difficult task of scaling synchronous communication over large wireless networks. Moreover, clients typically have different computing resources and therefore computing speed, which can lead to a significant bias (in favor of ``fast'' clients) when the updates are asynchronous. Therefore, practical deployment of FL requires to handle users with strongly varying computing speed in communication/resource constrained setting. We provide convergence guarantees for FAVANO in a smooth, non-convex environment and carefully compare the obtained convergence guarantees with existing bounds, when they are available. Experimental results show that the FAVANO algorithm outperforms current methods on standard benchmarks.
• Abstract（参考訳）: 本稿では,資源制約環境下で深層ニューラルネットワーク(dnn)をトレーニングするための,新しい集中型非同期フェデレーション学習(fl)フレームワークfavanoを提案する。 その人気にもかかわらず、`classical'の連合学習は、大規模無線ネットワーク上での同期通信をスケールすることの難しさに直面している。 さらに、クライアントは一般的に異なるコンピューティングリソースを持つため、更新が非同期である場合には、大きなバイアス(‘fast’クライアントに有利)が発生する可能性がある。 したがって、FLの実践的な展開には、通信/リソース制約設定において、強力な計算速度を持つユーザを扱う必要がある。 我々は,スムースな非凸環境におけるfavanoの収束保証を提供し,得られた収束保証を既存の境界と比較する。 実験の結果,FAVANOアルゴリズムは標準ベンチマークにおける現在の手法よりも優れていることがわかった。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
  我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。 我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
  論文  参考訳（メタデータ） (2022-09-27T02:12:43Z)
• Communication-Efficient Federated Learning With Data and Client Heterogeneity [22.432529149142976]
  Federated Learning (FL)は、機械学習モデルの大規模分散トレーニングを可能にする。 FLを大規模に実行するには、本質的に実践的な課題が伴う。 従来のフェデレーション平均化(FedAvg)アルゴリズムの最初の変種を示す。
  論文  参考訳（メタデータ） (2022-06-20T22:39:39Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• Blockchain-enabled Server-less Federated Learning [5.065631761462706]
  我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。 主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
  論文  参考訳（メタデータ） (2021-12-15T07:41:23Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise [26.9902939745173]
  本稿では,待ち時間を削減し,ネットワーク全体の通信時間を短縮する非同期フェデレーション学習のための新しいアルゴリズムを提案する。 強凸目的関数に対する厳密な理論的解析とシミュレーション結果を提供する。
  論文  参考訳（メタデータ） (2020-07-17T19:47:16Z)
• Asynchronous Decentralized Learning of a Neural Network [49.15799302636519]
  我々は、ARockと呼ばれる非同期コンピューティングフレームワークを利用して、分散シナリオでフィードフォワードニューラルネットワーク(SSFN)を推定する自己サイズ推定と呼ばれるディープニューラルネットワークを学習する。 非同期分散SSFNは1ノードのアクティベーションと一方の通信を許容することで通信ボトルネックを緩和し、通信オーバーヘッドを大幅に低減する。 実験結果において、非同期dSSFNと従来の同期dSSFNを比較し、特に通信ネットワークが疎い場合に、非同期dSSFNの競合性能を示す。
  論文  参考訳（メタデータ） (2020-04-10T15:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。