論文の概要: Federated Learning under Periodic Client Participation and Heterogeneous Data: A New Communication-Efficient Algorithm and Analysis
- arxiv url: http://arxiv.org/abs/2410.23131v1
- Date: Wed, 30 Oct 2024 15:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:26:15.728528
- Title: Federated Learning under Periodic Client Participation and Heterogeneous Data: A New Communication-Efficient Algorithm and Analysis
- Title（参考訳）: 定期的クライアント参加と不均質データに基づくフェデレーション学習 : コミュニケーション効率の良い新しいアルゴリズムと分析
- Authors: Michael Crawshaw, Mingrui Liu,
- Abstract要約: 連合学習では、クライアントが常にトレーニングに参加することができると仮定することが一般的であり、実際にはユーザデバイスでは実現不可能である。
最近のフェデレーション学習は、より現実的な参加パターンの下で、サイクリッククライアントの可用性や任意の参加として分析されている。
- 参考スコア（独自算出の注目度）: 14.98493572536424
- License:
- Abstract: In federated learning, it is common to assume that clients are always available to participate in training, which may not be feasible with user devices in practice. Recent works analyze federated learning under more realistic participation patterns, such as cyclic client availability or arbitrary participation. However, all such works either require strong assumptions (e.g., all clients participate almost surely within a bounded window), do not achieve linear speedup and reduced communication rounds, or are not applicable in the general non-convex setting. In this work, we focus on nonconvex optimization and consider participation patterns in which the chance of participation over a fixed window of rounds is equal among all clients, which includes cyclic client availability as a special case. Under this setting, we propose a new algorithm, named Amplified SCAFFOLD, and prove that it achieves linear speedup, reduced communication, and resilience to data heterogeneity simultaneously. In particular, for cyclic participation, our algorithm is proved to enjoy $\mathcal{O}(\epsilon^{-2})$ communication rounds to find an $\epsilon$-stationary point in the non-convex stochastic setting. In contrast, the prior work under the same setting requires $\mathcal{O}(\kappa^2 \epsilon^{-4})$ communication rounds, where $\kappa$ denotes the data heterogeneity. Therefore, our algorithm significantly reduces communication rounds due to better dependency in terms of $\epsilon$ and $\kappa$. Our analysis relies on a fine-grained treatment of the nested dependence between client participation and errors in the control variates, which results in tighter guarantees than previous work. We also provide experimental results with (1) synthetic data and (2) real-world data with a large number of clients $(N = 250)$, demonstrating the effectiveness of our algorithm under periodic client participation.
- Abstract（参考訳）: 連合学習では、クライアントが常にトレーニングに参加することができると仮定することが一般的であり、実際にはユーザデバイスでは実現不可能である。
最近の研究は、サイクリッククライアントの可用性や任意の参加など、より現実的な参加パターンの下で、連合学習を分析している。
しかし、そのような全ての作業は強い仮定(例えば、すべてのクライアントは有界ウィンドウ内でほぼ確実に参加する)を必要とするか、線形スピードアップや通信ラウンドの削減を達成できないか、あるいは一般の非凸設定では適用できない。
本研究では,非凸最適化に着目し,ラウンドの固定窓を越えて参加する確率が全クライアントに等しくなるような参加パターンを考察する。
そこで我々は,Amplified SCAFFOLDという新しいアルゴリズムを提案し,線形高速化,通信の低減,データの不均一性に対するレジリエンスを同時に達成できることを証明した。
特に、循環的参加のために、我々のアルゴリズムは非凸確率設定において$\epsilon$-stationary点を求めるために$\mathcal{O}(\epsilon^{-2})$通信ラウンドを楽しむことが証明される。
これとは対照的に、以前の処理は$\mathcal{O}(\kappa^2 \epsilon^{-4})$通信ラウンドを必要とする。
したがって,我々のアルゴリズムは,$\epsilon$ および $\kappa$ による依存性の向上により,通信ラウンドを大幅に削減する。
我々の分析は、クライアントの参加と制御変数のエラーの間のネストした依存をきめ細かな扱いに依存しており、その結果、以前の作業よりも厳密な保証が得られます。
また,(1)合成データと(2)多数のクライアントを持つ実世界のデータ(N = 250)を併用した実験結果も提供し,周期的クライアント参加時のアルゴリズムの有効性を実証した。
関連論文リスト
- Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。
すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。
我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
論文 参考訳（メタデータ） (2024-10-02T03:30:53Z) - On the Necessity of Collaboration for Online Model Selection with Decentralized Data [53.244188985271606]
我々は,100万ドル以上の分散データを用いたオンラインモデル選択について検討し,クライアント間のコラボレーションの必要性について検討する。
i) クライアント上の計算コストが$o(K)$に制限された場合, (ii) クライアント上での計算制約がない場合, (i) 協調は不要であり, (ii) クライアント上での計算コストは$o(K)$に制限される。
論文 参考訳（メタデータ） (2024-04-15T06:32:28Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - Achieving Linear Speedup in Non-IID Federated Bilevel Learning [16.56643290676128]
我々はFedMBOという新しいフェデレーションバイレベルアルゴリズムを提案する。
We show that FedMBO achieve a convergence rate of $mathcalObig(frac1sqrtnK+frac1K+fracsqrtnK3/2big)$ on non-i.d.datasets。
これは、i.d.d.federated bilevel optimizationに対する最初の理論的線形スピードアップ結果である。
論文 参考訳（メタデータ） (2023-02-10T18:28:00Z) - Federated Learning with Regularized Client Participation [1.433758865948252]
Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。
FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。
本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
論文 参考訳（メタデータ） (2023-02-07T18:26:07Z) - Anchor Sampling for Federated Learning with Partial Client Participation [17.8094483221845]
本稿では,フェデラルクライアント参加のためのフェデラルラーニング(Federated Learning,FedAMD)を提案する。
中心となるアイデアはアンカーサンプリングであり、部分的な参加者をアンカーグループとマイナーグループに分離する。
2つのグループの結果を統合することで、FedAMDはトレーニングプロセスを加速し、モデルのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2022-06-13T03:08:39Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Faster Rates for Compressed Federated Learning with Client-Variance
Reduction [23.169998435268504]
我々はCOFIGとFRECONが$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束していることを示す。
凸設定では、COFIGは$O(frac(1+omega)sqrtNSepsilon2)$通信ラウンドに収束する。
論文 参考訳（メタデータ） (2021-12-24T16:28:18Z) - Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。
ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。
分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
論文 参考訳（メタデータ） (2021-11-10T22:12:52Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2020-12-28T19:21:14Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。