論文の概要: Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning
- arxiv url: http://arxiv.org/abs/2210.10311v1
- Date: Wed, 19 Oct 2022 05:59:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 15:14:26.859371
- Title: Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning
- Title（参考訳）: 無線フェデレーション学習のための遅延を考慮した半同期型クライアント選択とモデルアグリゲーション
- Authors: Liangkun Yu, Xiang Sun, Rana Albelaihi, Chen Yi
- Abstract要約: Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
- 参考スコア（独自算出の注目度）: 0.6882042556551609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a collaborative machine learning framework that
requires different clients (e.g., Internet of Things devices) to participate in
the machine learning model training process by training and uploading their
local models to an FL server in each global iteration. Upon receiving the local
models from all the clients, the FL server generates a global model by
aggregating the received local models. This traditional FL process may suffer
from the straggler problem in heterogeneous client settings, where the FL
server has to wait for slow clients to upload their local models in each global
iteration, thus increasing the overall training time. One of the solutions is
to set up a deadline and only the clients that can upload their local models
before the deadline would be selected in the FL process. This solution may lead
to a slow convergence rate and global model overfitting issues due to the
limited client selection. In this paper, we propose the Latency awarE
Semi-synchronous client Selection and mOdel aggregation for federated learNing
(LESSON) method that allows all the clients to participate in the whole FL
process but with different frequencies. That is, faster clients would be
scheduled to upload their models more frequently than slow clients, thus
resolving the straggler problem and accelerating the convergence speed, while
avoiding model overfitting. Also, LESSON is capable of adjusting the tradeoff
between the model accuracy and convergence rate by varying the deadline.
Extensive simulations have been conducted to compare the performance of LESSON
with the other two baseline methods, i.e., FedAvg and FedCS. The simulation
results demonstrate that LESSON achieves faster convergence speed than FedAvg
and FedCS, and higher model accuracy than FedCS.
- Abstract（参考訳）: Federated Learning(FL)は、さまざまなクライアント(IoTデバイスなど)に対して、各グローバルイテレーションでローカルモデルをFLサーバにトレーニングおよびアップロードすることで、マシンラーニングモデルのトレーニングプロセスに参加することを要求する、共同機械学習フレームワークである。
すべてのクライアントからローカルモデルを受け取ると、flサーバは受信したローカルモデルを集約してグローバルモデルを生成する。
この従来のflプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。flサーバは、グローバルイテレーション毎に遅いクライアントがローカルモデルをアップロードするのを待つ必要があるため、全体的なトレーニング時間が増加する。
解決策の1つは、期限を設定し、その期限がFLプロセスで選択される前にローカルモデルをアップロードできるクライアントのみです。
このソリューションは、クライアントの選択が制限されたため、収束速度が遅く、グローバルモデルが問題にオーバーフィットする可能性がある。
本稿では,すべてのクライアントがflプロセス全体に参加することができるフェデレーション学習(lesson)法において,遅延を考慮した半同期型クライアント選択とモデルアグリゲーションを提案する。
つまり、より高速なクライアントは、遅いクライアントよりも頻繁にモデルをアップロードし、ストラグラー問題を解決し、モデルの過度な適合を避けながら収束速度を加速する。
また、LESSONは、期限を変更することにより、モデル精度と収束率とのトレードオフを調整することができる。
LESSONと他の2つのベースライン手法、すなわちFedAvgとFedCSのパフォーマンスを比較するために、大規模なシミュレーションが行われた。
シミュレーションの結果,LESSONはFedAvgやFedCSよりも高速に収束し,モデル精度もFedCSより高いことがわかった。
関連論文リスト
- FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。
FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。
本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文 参考訳（メタデータ） (2024-06-01T05:14:20Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Client Selection for Generalization in Accelerated Federated Learning: A
Multi-Armed Bandit Approach [20.300740276237523]
フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。
FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-03-18T09:45:58Z) - Adaptive Control of Client Selection and Gradient Compression for
Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。
我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。
実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文 参考訳（メタデータ） (2022-12-19T14:19:07Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。
Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。
AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
論文 参考訳（メタデータ） (2022-10-12T12:59:18Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。