論文の概要: Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks
- arxiv url: http://arxiv.org/abs/2404.13804v1
- Date: Mon, 22 Apr 2024 00:16:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 15:36:05.709456
- Title: Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks
- Title（参考訳）: 無線ネットワーク上でのフェデレーション学習のための適応的不均一クライアントサンプリング
- Authors: Bing Luo, Wenli Xiao, Shiqiang Wang, Jianwei Huang, Leandros Tassiulas,
- Abstract要約: フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。
FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。
任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
- 参考スコア（独自算出の注目度）: 27.545199007002577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) algorithms usually sample a fraction of clients in each round (partial participation) when the number of participants is large and the server's communication bandwidth is limited. Recent works on the convergence analysis of FL have focused on unbiased client sampling, e.g., sampling uniformly at random, which suffers from slow wall-clock time for convergence due to high degrees of system heterogeneity and statistical heterogeneity. This paper aims to design an adaptive client sampling algorithm for FL over wireless networks that tackles both system and statistical heterogeneity to minimize the wall-clock convergence time. We obtain a new tractable convergence bound for FL algorithms with arbitrary client sampling probability. Based on the bound, we analytically establish the relationship between the total learning time and sampling probability with an adaptive bandwidth allocation scheme, which results in a non-convex optimization problem. We design an efficient algorithm for learning the unknown parameters in the convergence bound and develop a low-complexity algorithm to approximately solve the non-convex problem. Our solution reveals the impact of system and statistical heterogeneity parameters on the optimal client sampling design. Moreover, our solution shows that as the number of sampled clients increases, the total convergence time first decreases and then increases because a larger sampling number reduces the number of rounds for convergence but results in a longer expected time per-round due to limited wireless bandwidth. Experimental results from both hardware prototype and simulation demonstrate that our proposed sampling scheme significantly reduces the convergence time compared to several baseline sampling schemes.
- Abstract（参考訳）: フェデレートラーニング(FL)アルゴリズムは、通常、参加者数が大きく、サーバの通信帯域幅が限られている場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。
FLの収束解析に関する最近の研究は、不偏なクライアントサンプリング(例えば、ランダムにサンプリングする)に焦点を当てている。
本稿では,無線ネットワーク上でのFLの適応的クライアントサンプリングアルゴリズムを設計し,壁面収束時間を最小限に抑えることを目的とする。
任意のクライアントサンプリング確率を持つFLアルゴリズムに対して,新たなトラクタブル収束バウンダリを得る。
この境界に基づいて,適応帯域割り当て方式を用いて,全学習時間とサンプリング確率の関係を解析的に確立し,非凸最適化問題を導出する。
収束境界における未知パラメータを学習するための効率的なアルゴリズムを設計し,非凸問題の解法として低複雑性アルゴリズムを開発した。
提案手法は,システムおよび統計的不均一性パラメータが最適なクライアントサンプリング設計に与える影響を明らかにする。
さらに,本手法は,サンプリングクライアント数が増加するにつれて,まず総収束時間が減少し,さらに,サンプリング数が大きくなると収束ラウンド数が減少するが,無線帯域幅が限られているため,ラウンド当たりの待ち時間が長くなることを示す。
ハードウェアプロトタイプとシミュレーションの両方による実験結果から,本提案手法は,複数のベースラインサンプリング方式と比較して,コンバージェンス時間を著しく短縮することを示した。
関連論文リスト
- Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。
コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。
また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
論文 参考訳（メタデータ） (2024-02-20T23:59:45Z) - Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-02-15T16:51:38Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。
独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。
K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
論文 参考訳（メタデータ） (2023-10-04T10:08:01Z) - Gradient Sparsification for Efficient Wireless Federated Learning with
Differential Privacy [25.763777765222358]
フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。
モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。
我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
論文 参考訳（メタデータ） (2023-04-09T05:21:15Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳（メタデータ） (2022-07-19T16:37:24Z) - Super-resolution GANs of randomly-seeded fields [68.8204255655161]
ランダムスパースセンサからフィールド量の推定を行うための,GAN(Super- resolution Generative Adversarial Network)フレームワークを提案する。
このアルゴリズムはランダムサンプリングを利用して、高解像度の基底分布の不完全ビューを提供する。
提案手法は, 流体流動シミュレーション, 海洋表面温度分布測定, 粒子画像速度測定データの合成データベースを用いて検証した。
論文 参考訳（メタデータ） (2022-02-23T18:57:53Z) - Adaptive Client Sampling in Federated Learning via Online Learning with
Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。
その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。
提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文 参考訳（メタデータ） (2021-12-28T23:50:52Z) - Tackling System and Statistical Heterogeneity for Federated Learning
with Adaptive Client Sampling [34.187387951367526]
フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。
最近の研究はFLの収束解析に焦点を当てている。
任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
論文 参考訳（メタデータ） (2021-12-21T14:28:40Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。