論文の概要: FedGP: Correlation-Based Active Client Selection for Heterogeneous
Federated Learning
- arxiv url: http://arxiv.org/abs/2103.13822v1
- Date: Wed, 24 Mar 2021 03:25:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 13:23:08.476692
- Title: FedGP: Correlation-Based Active Client Selection for Heterogeneous
Federated Learning
- Title（参考訳）: fedgp:ヘテロジニアスフェデレート学習のための相関ベースアクティブクライアント選択
- Authors: Minxue Tang, Xuefei Ning, Yitu Wang, Yu Wang and Yiran Chen
- Abstract要約: 相関に基づくクライアント選択戦略に基づいて構築されたフェデレート学習フレームワークであるFedGPを提案する。
通信コストを削減するために,過去のサンプルを効率的に活用したGPトレーニング手法を開発した。
学習した相関関係に基づいて,各ラウンドで期待されるグローバル損失の低減を図り,クライアントの選択を導出する。
- 参考スコア（独自算出の注目度）: 33.996041254246585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Client-wise heterogeneity is one of the major issues that hinder effective
training in federated learning (FL). Since the data distribution on each client
may differ dramatically, the client selection strategy can largely influence
the convergence rate of the FL process. Several recent studies adopt active
client selection strategies. However, they neglect the loss correlations
between the clients and achieve marginal improvement compared to the uniform
selection strategy. In this work, we propose FedGP -- a federated learning
framework built on a correlation-based client selection strategy, to boost the
convergence rate of FL. Specifically, we first model the loss correlations
between the clients with a Gaussian Process (GP). To make the GP training
feasible in the communication-bounded FL process, we develop a GP training
method utilizing the historical samples efficiently to reduce the communication
cost. Finally, based on the correlations we learned, we derive the client
selection with an enlarged reduction of expected global loss in each round. Our
experimental results show that compared to the latest active client selection
strategy, FedGP can improve the convergence rates by $1.3\sim2.3\times$ and
$1.2\sim1.4\times$ on FMNIST and CIFAR-10, respectively.
- Abstract（参考訳）: クライアントサイドの不均一性は、連合学習(fl)における効果的なトレーニングを妨げる主要な問題の1つである。
各クライアント上のデータ分布は劇的に異なる可能性があるため、クライアント選択戦略はFLプロセスの収束率に大きな影響を与える。
最近のいくつかの研究はアクティブクライアント選択戦略を採用している。
しかし,クライアント間の損失相関を無視し,一様選択戦略に比べて限界改善を実現している。
本稿では、FLの収束率を高めるために、相関ベースのクライアント選択戦略に基づくフェデレート学習フレームワークであるFedGPを提案する。
具体的には、まずクライアント間の損失相関をガウス過程(GP)でモデル化する。
通信境界FLプロセスにおいてGPトレーニングを実現するため,歴史的サンプルを効率的に利用して通信コストを削減するGPトレーニング手法を開発した。
最後に、我々が学んだ相関関係に基づいて、各ラウンドで予想されるグローバル損失の減少を拡大してクライアントの選択を導出する。
我々の実験結果によると、最新のアクティブクライアント選択戦略と比較して、FedGPはFMNISTとCIFAR-10でそれぞれ1.3\sim2.3\times$と1.2\sim1.4\times$の収束率を改善することができる。
関連論文リスト
- Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。
1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。
複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
論文 参考訳（メタデータ） (2024-05-22T12:27:24Z) - Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。
本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-07T17:46:37Z) - Utilizing Free Clients in Federated Learning for Focused Model
Enhancement [9.370655190768163]
Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
論文 参考訳（メタデータ） (2023-10-06T18:23:40Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。
本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文 参考訳（メタデータ） (2023-02-13T18:55:31Z) - Adaptive Control of Client Selection and Gradient Compression for
Efficient Federated Learning [28.185096784982544]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。
我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。
実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
論文 参考訳（メタデータ） (2022-12-19T14:19:07Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Bandit-based Communication-Efficient Client Selection Strategies for
Federated Learning [8.627405016032615]
コミュニケーションのオーバーヘッドを低減し、より迅速な収束を実現するバンディットベースのコミュニケーション効率の高いクライアント選択戦略UBB-CSを提案する。
また、クライアントの選択を公平性の向上に活用する方法も実証します。
論文 参考訳（メタデータ） (2020-12-14T23:35:03Z) - Client Selection in Federated Learning: Convergence Analysis and
Power-of-Choice Selection Strategies [29.127689561987964]
フェデレートラーニングにより、多数のリソース制限されたクライアントノードが、データ共有なしで協調的にモデルをトレーニングできる。
局所的損失の高いクライアントに対するクライアント選択の偏りは、より高速なエラー収束を実現することを示す。
通信および計算効率の高いクライアント選択フレームワークであるPower-of-Choiceを提案する。
論文 参考訳（メタデータ） (2020-10-03T01:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。