論文の概要: Adaptive Federated Learning in Heterogeneous Wireless Networks with
Independent Sampling
- arxiv url: http://arxiv.org/abs/2402.10097v2
- Date: Wed, 21 Feb 2024 13:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 18:51:08.952695
- Title: Adaptive Federated Learning in Heterogeneous Wireless Networks with
Independent Sampling
- Title（参考訳）: 独立サンプリングを用いた異種無線ネットワークにおける適応フェデレーション学習
- Authors: Jiaxiang Geng, Yanzhao Hou, Xiaofeng Tao, Juncheng Wang and Bing Luo
- Abstract要約: Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
- 参考スコア（独自算出の注目度）: 16.121943421997557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) algorithms commonly sample a random subset of clients
to address the straggler issue and improve communication efficiency. While
recent works have proposed various client sampling methods, they have
limitations in joint system and data heterogeneity design, which may not align
with practical heterogeneous wireless networks. In this work, we advocate a new
independent client sampling strategy to minimize the wall-clock training time
of FL, while considering data heterogeneity and system heterogeneity in both
communication and computation. We first derive a new convergence bound for
non-convex loss functions with independent client sampling and then propose an
adaptive bandwidth allocation scheme. Furthermore, we propose an efficient
independent client sampling algorithm based on the upper bounds on the
convergence rounds and the expected per-round training time, to minimize the
wall-clock time of FL, while considering both the data and system
heterogeneity. Experimental results under practical wireless network settings
with real-world prototype demonstrate that the proposed independent sampling
scheme substantially outperforms the current best sampling schemes under
various training models and datasets.
- Abstract（参考訳）: フェデレーション学習(fl)アルゴリズムは通常、ストラグラー問題に対処するためにクライアントのランダムサブセットをサンプリングし、通信効率を向上させる。
最近の研究では、様々なクライアントサンプリング手法が提案されているが、実際の異種無線ネットワークと一致しない、ジョイントシステムとデータ均一性設計に制限がある。
本研究では,FLのウォールクロック学習時間を最小限に抑えるために,データ不均一性とシステム不均一性を考慮した新たなクライアントサンプリング手法を提案する。
まず,非凸損失関数に対して独立なクライアントサンプリングを施した新しい収束境界を導出し,適応帯域割り当て方式を提案する。
さらに,データとシステムの不均一性を考慮しつつ,flの壁時計時間を最小限に抑えるために,収束ラウンドの上界と期待毎のトレーニング時間に基づく効率的な独立クライアントサンプリングアルゴリズムを提案する。
実世界のプロトタイプを用いた実用的な無線ネットワーク環境下での実験結果から,提案手法は様々なトレーニングモデルやデータセットにおいて,現在最高のサンプリング方式よりも大幅に優れていた。
関連論文リスト
- Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。
FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。
任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
論文 参考訳（メタデータ） (2024-04-22T00:16:18Z) - Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance [37.646655530394604]
Federated Learning(FL)は、ローカルデータを収集することなく、複数のデバイスでグローバルモデルをトレーニングする分散学習パラダイムである。
独立サンプリング手法を用いて,最初の適応型クライアントサンプリング器K-Vibを提案する。
K-Vibは、一連の通信予算の中で、後悔すべき$tildemathcalObig(Nfrac13Tfrac23/Kfrac43big)$の線形スピードアップを達成する。
論文 参考訳（メタデータ） (2023-10-04T10:08:01Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Adaptive Client Sampling in Federated Learning via Online Learning with
Bandit Feedback [36.05851452151107]
統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。
その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。
提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
論文 参考訳（メタデータ） (2021-12-28T23:50:52Z) - Tackling System and Statistical Heterogeneity for Federated Learning
with Adaptive Client Sampling [34.187387951367526]
フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。
最近の研究はFLの収束解析に焦点を当てている。
任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
論文 参考訳（メタデータ） (2021-12-21T14:28:40Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。