論文の概要: Tackling System and Statistical Heterogeneity for Federated Learning
with Adaptive Client Sampling
- arxiv url: http://arxiv.org/abs/2112.11256v1
- Date: Tue, 21 Dec 2021 14:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-22 14:18:46.273108
- Title: Tackling System and Statistical Heterogeneity for Federated Learning
with Adaptive Client Sampling
- Title（参考訳）: 適応型クライアントサンプリングによるフェデレーション学習におけるタックリングシステムと統計的不均一性
- Authors: Bing Luo, Wenli Xiao, Shiqiang Wang, Jianwei Huang, Leandros Tassiulas
- Abstract要約: フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。
最近の研究はFLの収束解析に焦点を当てている。
任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
- 参考スコア（独自算出の注目度）: 34.187387951367526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) algorithms usually sample a fraction of clients in
each round (partial participation) when the number of participants is large and
the server's communication bandwidth is limited. Recent works on the
convergence analysis of FL have focused on unbiased client sampling, e.g.,
sampling uniformly at random, which suffers from slow wall-clock time for
convergence due to high degrees of system heterogeneity and statistical
heterogeneity. This paper aims to design an adaptive client sampling algorithm
that tackles both system and statistical heterogeneity to minimize the
wall-clock convergence time. We obtain a new tractable convergence bound for FL
algorithms with arbitrary client sampling probabilities. Based on the bound, we
analytically establish the relationship between the total learning time and
sampling probabilities, which results in a non-convex optimization problem for
training time minimization. We design an efficient algorithm for learning the
unknown parameters in the convergence bound and develop a low-complexity
algorithm to approximately solve the non-convex problem. Experimental results
from both hardware prototype and simulation demonstrate that our proposed
sampling scheme significantly reduces the convergence time compared to several
baseline sampling schemes. Notably, our scheme in hardware prototype spends 73%
less time than the uniform sampling baseline for reaching the same target loss.
- Abstract（参考訳）: フェデレーション学習(fl)アルゴリズムは通常、参加者数が多く、サーバの通信帯域幅が限られている場合、各ラウンドのクライアントのごく一部(部分参加)をサンプリングする。
flの収束解析に関する最近の研究は、ランダムなサンプリングのような偏りのないクライアントサンプリングに焦点をあてている。
本稿では,システムと統計的不均一性に対処し,壁時間収束時間を最小化する適応型クライアントサンプリングアルゴリズムの設計を目的とする。
任意のクライアントサンプリング確率を持つ fl アルゴリズムに対する新しい可搬収束値を求める。
この境界に基づいて,学習時間とサンプリング確率の関係を解析的に確立し,学習時間最小化のための非凸最適化問題を導出する。
収束境界における未知のパラメータを学習する効率的なアルゴリズムを設計し,非凸問題を近似的に解く低複素性アルゴリズムを開発した。
ハードウェアプロトタイプとシミュレーションの両方による実験結果から,提案手法は複数のベースラインサンプリング方式に比べて収束時間を大幅に削減することが示された。
ハードウェアプロトタイプにおける我々の手法は、同じ目標を達成するために、一様サンプリングベースラインよりも73%少ない時間を費やす。
関連論文リスト
- Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。
FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。
任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
論文 参考訳（メタデータ） (2024-04-22T00:16:18Z) - Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。
コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。
また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
論文 参考訳（メタデータ） (2024-02-20T23:59:45Z) - Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-02-15T16:51:38Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Adaptive Client Sampling in Federated Learning via Online Learning with
Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。
その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。
提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文 参考訳（メタデータ） (2021-12-28T23:50:52Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Effective Proximal Methods for Non-convex Non-smooth Regularized
Learning [27.775096437736973]
独立サンプリング方式は、一般に使用されている一様サンプリング方式の性能を向上させる傾向にあることを示す。
我々の新しい分析は、サンプリングの速度が今までで最高のものより速いことも示しています。
論文 参考訳（メタデータ） (2020-09-14T16:41:32Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳（メタデータ） (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。