論文の概要: Federated Learning with Regularized Client Participation
- arxiv url: http://arxiv.org/abs/2302.03662v1
- Date: Tue, 7 Feb 2023 18:26:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 15:22:06.009035
- Title: Federated Learning with Regularized Client Participation
- Title(参考訳): 正規化顧客参加による連合学習
- Authors: Grigory Malinovsky, Samuel Horv\'ath, Konstantin Burlachenko, Peter
Richt\'arik
- Abstract要約: Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
- 参考スコア(独自算出の注目度): 1.433758865948252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed machine learning approach where
multiple clients work together to solve a machine learning task. One of the key
challenges in FL is the issue of partial participation, which occurs when a
large number of clients are involved in the training process. The traditional
method to address this problem is randomly selecting a subset of clients at
each communication round. In our research, we propose a new technique and
design a novel regularized client participation scheme. Under this scheme, each
client joins the learning process every $R$ communication rounds, which we
refer to as a meta epoch. We have found that this participation scheme leads to
a reduction in the variance caused by client sampling. Combined with the
popular FedAvg algorithm (McMahan et al., 2017), it results in superior rates
under standard assumptions. For instance, the optimization term in our main
convergence bound decreases linearly with the product of the number of
communication rounds and the size of the local dataset of each client, and the
statistical term scales with step size quadratically instead of linearly (the
case for client sampling with replacement), leading to better convergence rate
$\mathcal{O}\left(\frac{1}{T^2}\right)$ compared to
$\mathcal{O}\left(\frac{1}{T}\right)$, where $T$ is the total number of
communication rounds. Furthermore, our results permit arbitrary client
availability as long as each client is available for training once per each
meta epoch.
- Abstract(参考訳): Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
flの重要な課題のひとつは、多数のクライアントがトレーニングプロセスに参加している場合に発生する、部分的な参加の問題である。
この問題に対処する従来の方法は、各通信ラウンドでクライアントのサブセットをランダムに選択することです。
本研究では,新しい手法を提案し,新しい正規化顧客参加方式を設計する。
このスキームの下では、各クライアントは、メタエポックと呼ばれる、R$の通信ラウンド毎に学習プロセスに参加します。
我々は,この参加方式がクライアントサンプリングによるばらつきの低減につながることを見出した。
一般的なFedAvgアルゴリズム(McMahan et al., 2017)と組み合わせると、標準仮定ではより優れたレートが得られる。
For instance, the optimization term in our main convergence bound decreases linearly with the product of the number of communication rounds and the size of the local dataset of each client, and the statistical term scales with step size quadratically instead of linearly (the case for client sampling with replacement), leading to better convergence rate $\mathcal{O}\left(\frac{1}{T^2}\right)$ compared to $\mathcal{O}\left(\frac{1}{T}\right)$, where $T$ is the total number of communication rounds.
さらに,各クライアントがメタエポック毎に1回トレーニングできる限り,任意のクライアントを利用可能とする。
関連論文リスト
- Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳(メタデータ) (2023-12-29T01:44:20Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Clustered Scheduling and Communication Pipelining For Efficient Resource
Management Of Wireless Federated Learning [6.753282396352072]
本稿では,コミュニケーションパイプラインを用いて,フェデレート学習の無線スペクトル利用効率と収束速度を向上させることを提案する。
我々は、異なる設定下で最適なクライアントクラスタリングのための汎用的な定式化を行い、最適解を得るための効率的なアルゴリズムを解析的に導出する。
論文 参考訳(メタデータ) (2022-06-15T16:23:19Z) - Anchor Sampling for Federated Learning with Partial Client Participation [17.8094483221845]
本稿では,フェデラルクライアント参加のためのフェデラルラーニング(Federated Learning,FedAMD)を提案する。
中心となるアイデアはアンカーサンプリングであり、部分的な参加者をアンカーグループとマイナーグループに分離する。
2つのグループの結果を統合することで、FedAMDはトレーニングプロセスを加速し、モデルのパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2022-06-13T03:08:39Z) - Client Selection Approach in Support of Clustered Federated Learning
over Wireless Edge Networks [2.6774008509840996]
CFL(Clustered Federated Multitask Learning)は、信頼性の高い専門モデルを得るための効率的なスキームとして導入された。
本稿では,特殊な機械学習モデルを得るための収束率の向上を目的とした,新しいクライアント選択アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-16T21:38:22Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳(メタデータ) (2021-06-24T11:09:17Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳(メタデータ) (2020-12-31T18:52:08Z) - Optimal Client Sampling for Federated Learning [0.0]
アップデートをマスターノードに伝えることができるクライアントの数を制限する。
各通信ラウンドでは、参加するすべてのクライアントがアップデートを計算しますが、"重要な"アップデートを持つクライアントだけがマスターに通信します。
更新の基準のみを用いて重要度を測定することができ、最適なクライアント参加の式を提供する。
論文 参考訳(メタデータ) (2020-10-26T17:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。