Fugu-MT 論文翻訳(概要): TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with Adaptive Partial Training

論文の概要: TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with Adaptive Partial Training

arxiv url: http://arxiv.org/abs/2304.06947v1
Date: Fri, 14 Apr 2023 06:26:08 GMT
ステータス: 処理完了
システム内更新日: 2023-04-17 14:33:25.671363
Title: TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with Adaptive Partial Training
Title（参考訳）: TimelyFL:適応的部分訓練による異種性を考慮した非同期フェデレーション学習
Authors: Tuo Zhang, Lei Gao, Sunwoo Lee, Mi Zhang and Salman Avestimehr
Abstract要約: TimelyFLは、適応的な部分的トレーニングを備えた、異種対応の非同期フェデレートラーニングフレームワークである。我々は、TimelyFLが参加率を21.13%改善し、収束率を1.28倍から2.89倍向上させ、テスト精度を6.25%向上させることを示した。
参考スコア（独自算出の注目度）: 17.84692242938424
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In cross-device Federated Learning (FL) environments, scaling synchronous FL methods is challenging as stragglers hinder the training process. Moreover, the availability of each client to join the training is highly variable over time due to system heterogeneities and intermittent connectivity. Recent asynchronous FL methods (e.g., FedBuff) have been proposed to overcome these issues by allowing slower users to continue their work on local training based on stale models and to contribute to aggregation when ready. However, we show empirically that this method can lead to a substantial drop in training accuracy as well as a slower convergence rate. The primary reason is that fast-speed devices contribute to many more rounds of aggregation while others join more intermittently or not at all, and with stale model updates. To overcome this barrier, we propose TimelyFL, a heterogeneity-aware asynchronous FL framework with adaptive partial training. During the training, TimelyFL adjusts the local training workload based on the real-time resource capabilities of each client, aiming to allow more available clients to join in the global update without staleness. We demonstrate the performance benefits of TimelyFL by conducting extensive experiments on various datasets (e.g., CIFAR-10, Google Speech, and Reddit) and models (e.g., ResNet20, VGG11, and ALBERT). In comparison with the state-of-the-art (i.e., FedBuff), our evaluations reveal that TimelyFL improves participation rate by 21.13%, harvests 1.28x - 2.89x more efficiency on convergence rate, and provides a 6.25% increment on test accuracy.
Abstract（参考訳）: デバイス横断フェデレーション学習(FL)環境では、トラグラーがトレーニングプロセスを妨げるため、同期FLメソッドのスケーリングは困難である。さらに、トレーニングに参加するクライアントの可用性は、システムの不均一性と断続的な接続性のため、時間とともに非常に変動します。最近の非同期flメソッド(例えばfeedbuff)は、より遅いユーザが古いモデルに基づいたローカルトレーニングを継続し、準備ができたら集約に寄与できるようにすることで、これらの問題を克服するために提案されている。しかし,本手法がトレーニング精度を大幅に低下させ,収束率を低下させることを実証的に示す。一番の理由は、高速デバイスがより多くの集約ラウンドに貢献し、他のデバイスは断続的にあるいは全く参加せず、古いモデルのアップデートを伴っているからです。この障壁を克服するため,我々は,適応型部分トレーニングを備えた異種性対応非同期flフレームワークであるtimelyflを提案する。トレーニング中、TimelyFLは各クライアントのリアルタイムリソース機能に基づいて、ローカルのトレーニングワークロードを調整する。我々は、さまざまなデータセット(CIFAR-10、Google Speech、Redditなど)とモデル(ResNet20、VGG11、ALBERTなど)で広範な実験を行うことで、TimelyFLのパフォーマンス上の利点を実証する。最先端(フェドバフ)と比較すると、timelyflは参加率を21.13%向上させ、収束率の1.28倍から2.89倍に向上し、テスト精度を6.25%向上させた。

関連論文リスト

FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
Prune at the Clients, Not the Server: Accelerated Sparse Training in Federated Learning [56.21666819468249]
クライアントのリソース制約と通信コストは、フェデレートラーニングにおける大規模モデルのトレーニングに大きな問題を引き起こす。 Sparse-ProxSkipを導入し、スパース環境でのトレーニングとアクセラレーションを組み合わせた。 Sparse-ProxSkipの優れた性能を広範な実験で実証する。
論文参考訳（メタデータ） (2024-05-31T05:21:12Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文参考訳（メタデータ） (2024-02-17T05:22:46Z)
Enhancing Convergence in Federated Learning: A Contribution-Aware Asynchronous Approach [0.0]
Federated Learning(FL)は、クライアントがプライバシを保持しながらデータ上でモデルをトレーニングできる分散機械学習パラダイムである。フェデレート平均化(FedAvg)やその変種などのFLアルゴリズムは、多くのシナリオにおいてよく収束することが示されている。しかし、これらの手法ではクライアントがローカル更新を同期的にサーバにアップロードする必要があるため、現実的なFL設定では遅くて信頼性が低い。本稿では、受信した更新の安定性と統計的不均一性を考慮に入れたコントリビューション対応非同期FL法を提案する。
論文参考訳（メタデータ） (2024-02-16T12:10:53Z)
Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文参考訳（メタデータ） (2023-12-23T07:47:07Z)
Speed Up Federated Learning in Heterogeneous Environment: A Dynamic Tiering Approach [5.504000607257414]
フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。 FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
論文参考訳（メタデータ） (2023-12-09T19:09:19Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
Pisces: Efficient Federated Learning via Guided Asynchronous Training [42.46549526793953]
フェデレーテッド・ラーニング(FL)は通常、遅いクライアントの関与がトレーニングのイテレーションを遅らせる、同期的な並列的な方法で実行される。現在のFLでは、各イテレーションで品質データを持つ高速クライアントを選択するために、参加者選択戦略を採用している。本稿では、インテリジェントな受入選択とモデルアグリゲーションを備えた非同期FLシステムであるPiscesについて述べる。
論文参考訳（メタデータ） (2022-06-18T18:25:30Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。