論文の概要: Multi-Armed Bandit Based Client Scheduling for Federated Learning
- arxiv url: http://arxiv.org/abs/2007.02315v1
- Date: Sun, 5 Jul 2020 12:32:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 08:44:42.207619
- Title: Multi-Armed Bandit Based Client Scheduling for Federated Learning
- Title（参考訳）: フェデレート学習のためのマルチタスク帯域ベースクライアントスケジューリング
- Authors: Wenchao Xia, Tony Q. S. Quek, Kun Guo, Wanli Wen, Howard H. Yang,
Hongbo Zhu
- Abstract要約: 統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。
FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。
本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 91.91224642616882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By exploiting the computing power and local data of distributed clients,
federated learning (FL) features ubiquitous properties such as reduction of
communication overhead and preserving data privacy. In each communication round
of FL, the clients update local models based on their own data and upload their
local updates via wireless channels. However, latency caused by hundreds to
thousands of communication rounds remains a bottleneck in FL. To minimize the
training latency, this work provides a multi-armed bandit-based framework for
online client scheduling (CS) in FL without knowing wireless channel state
information and statistical characteristics of clients. Firstly, we propose a
CS algorithm based on the upper confidence bound policy (CS-UCB) for ideal
scenarios where local datasets of clients are independent and identically
distributed (i.i.d.) and balanced. An upper bound of the expected performance
regret of the proposed CS-UCB algorithm is provided, which indicates that the
regret grows logarithmically over communication rounds. Then, to address
non-ideal scenarios with non-i.i.d. and unbalanced properties of local datasets
and varying availability of clients, we further propose a CS algorithm based on
the UCB policy and virtual queue technique (CS-UCB-Q). An upper bound is also
derived, which shows that the expected performance regret of the proposed
CS-UCB-Q algorithm can have a sub-linear growth over communication rounds under
certain conditions. Besides, the convergence performance of FL training is also
analyzed. Finally, simulation results validate the efficiency of the proposed
algorithms.
- Abstract（参考訳）: 分散クライアントの計算能力とローカルデータを活用することで、フェデレーション学習(fl)は、通信オーバーヘッドの削減やデータのプライバシの保護といったユビキタスな特性を特徴とする。
flの各通信ラウンドにおいて、クライアントは自身のデータに基づいてローカルモデルを更新し、ローカルアップデートを無線チャネル経由でアップロードする。
しかし、数百から数千回の通信ラウンドによって引き起こされるレイテンシは、flのボトルネックである。
トレーニングの遅延を最小限に抑えるため、この研究は、クライアントの無線チャネル状態情報や統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
まず、クライアントのローカルデータセットが独立かつ同一分散(i.i.d.)されバランスをとる理想的なシナリオのために、upper confidence bound policy(cs-ucb)に基づくcsアルゴリズムを提案する。
提案したCS-UCBアルゴリズムの期待された性能後悔の上限は,通信ラウンドで対数的に増大することを示すものである。
次に,ローカルデータセットの非理想的かつ不均衡な特性とクライアントの可用性に対処するために,UCBポリシと仮想キュー技術(CS-UCB-Q)に基づくCSアルゴリズムを提案する。
上界も導出され、提案したCS-UCB-Qアルゴリズムの期待性能が一定条件下での通信ラウンドよりも線形に成長できることが示されている。
また,flトレーニングの収束性能も解析した。
最後に,提案アルゴリズムの有効性をシミュレーションにより検証した。
関連論文リスト
- Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳（メタデータ） (2023-04-09T05:21:15Z) - Adaptive Control of Client Selection and Gradient Compression for
Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。
我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。
実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文 参考訳（メタデータ） (2022-12-19T14:19:07Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Joint Client Scheduling and Resource Allocation under Channel
Uncertainty in Federated Learning [47.97586668316476]
無線ネットワーク上のフェデレートラーニング(FL)は、クライアントサーバの接続性とクライアントのローカル計算能力の信頼性に依存する。
本稿では、FLを用いたモデルトレーニングの性能を高めるため、クライアントスケジューリングとリソースブロック(RB)割り当ての問題について検討する。
提案手法は,最先端クライアントスケジューリングやRBアロケーション手法と比較して,トレーニング精度損失のギャップを最大40.7%削減する。
論文 参考訳（メタデータ） (2021-06-12T15:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。