論文の概要: Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
- arxiv url: http://arxiv.org/abs/2405.02745v2
- Date: Sat, 25 May 2024 04:18:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 05:37:42.400712
- Title: Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
- Title（参考訳）: 不完全なクライアント参加の有無によるサーバ支援フェデレーション学習の理解
- Authors: Haibo Yang, Peiwen Qiu, Prashant Khanduri, Minghong Fang, Jia Liu,
- Abstract要約: サーバ支援フェデレーションラーニング(SA-FL)は、不完全なクライアント参加の影響を軽減するための一般的なアプローチである。
本稿では,SA-FLが不完全なクライアント参加問題に対処する上で有効であることを示すが,SA-FLの理論的理解は乏しい。
理想的なクライアント参加仮定を持つ古典的FLと同じ線形収束速度を保証するSA-FLアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 15.129465249380202
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Existing works in federated learning (FL) often assume an ideal system with either full client or uniformly distributed client participation. However, in practice, it has been observed that some clients may never participate in FL training (aka incomplete client participation) due to a myriad of system heterogeneity factors. A popular approach to mitigate impacts of incomplete client participation is the server-assisted federated learning (SA-FL) framework, where the server is equipped with an auxiliary dataset. However, despite SA-FL has been empirically shown to be effective in addressing the incomplete client participation problem, there remains a lack of theoretical understanding for SA-FL. Meanwhile, the ramifications of incomplete client participation in conventional FL are also poorly understood. These theoretical gaps motivate us to rigorously investigate SA-FL. Toward this end, we first show that conventional FL is {\em not} PAC-learnable under incomplete client participation in the worst case. Then, we show that the PAC-learnability of FL with incomplete client participation can indeed be revived by SA-FL, which theoretically justifies the use of SA-FL for the first time. Lastly, to provide practical guidance for SA-FL training under {\em incomplete client participation}, we propose the $\mathsf{SAFARI}$ (server-assisted federated averaging) algorithm that enjoys the same linear convergence speedup guarantees as classic FL with ideal client participation assumptions, offering the first SA-FL algorithm with convergence guarantee. Extensive experiments on different datasets show $\mathsf{SAFARI}$ significantly improves the performance under incomplete client participation.
- Abstract（参考訳）: 連邦学習(FL)における既存の作業は、多くの場合、完全なクライアントまたは均一に分散されたクライアントの参加を伴う理想的なシステムを前提とします。
しかし、実際には、システムの不均一性要因が無数にあるため、一部のクライアントがFLトレーニング(いわゆる不完全なクライアント参加)に参加できないことが観察されている。
不完全なクライアント参加の影響を緩和するための一般的なアプローチは、サーバに補助データセットを備えたサーバ支援連合学習(SA-FL)フレームワークである。
しかしながら、SA-FLが不完全なクライアント参加問題に対処する上で有効であることが実証的に証明されているにもかかわらず、SA-FLの理論的理解はいまだに欠如している。
一方、従来のFLにおける不完全なクライアント参加の意義もよく理解されていない。
これらの理論的ギャップは、SA-FLを厳格に調査する動機となっている。
この目的のために, 従来の FL は不完全なクライアント参加の下で PAC を学習可能であることを示す。
そして,不完全なクライアント参加を伴うFLのPAC学習性は,理論上初めてSA-FLの使用を正当化するSA-FLによって再現可能であることを示す。
最後に, 従来の FL と同じ線形収束速度保証を, 理想的なクライアント参加仮定で実現し, 収束保証付きの最初の SA-FL アルゴリズムを提供する$\mathsf{SAFARI}$ (server-assisted Federated Averaging) アルゴリズムを提案する。
異なるデータセットに対する大規模な実験では、$\mathsf{SAFARI}$が不完全なクライアント参加時のパフォーマンスを大幅に改善している。
関連論文リスト
- Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。
すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。
我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
論文 参考訳（メタデータ） (2024-10-02T03:30:53Z) - Don't Forget What I did?: Assessing Client Contributions in Federated
Learning [9.56869689239781]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにMLモデルをトレーニングする、コラボレーティブ機械学習(ML)アプローチである。
本研究では,FLContrib と呼ばれる歴史を意識したゲーム理論フレームワークを提案し,クライアントのサブセットがFLトレーニングの各時期に参加する際にクライアントのコントリビューションを評価する。
FLContribを用いて、FLトレーニングにおいてデータ中毒を行う不適切なクライアントを検出する。
論文 参考訳（メタデータ） (2024-03-11T20:39:32Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - Federated Learning as a Network Effects Game [32.264180198812745]
Federated Learning (FL) は、ローカルデータを直接共有することなく、機械学習の精度を向上させるために、多くのクライアント間のコラボレーションを促進することを目的としている。
実際には、クライアントは、特にプライバシや計算などの問題に関連する潜在的なコストを考慮して、FLに参加することの恩恵を受けないかもしれません。
私たちはFLにおけるクライアントの振る舞いをネットワークエフェクトゲームとしてモデル化し、各クライアントの利点はネットワークに参加する他のクライアントに依存します。
論文 参考訳（メタデータ） (2023-02-16T19:10:12Z) - FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。
我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。
特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文 参考訳（メタデータ） (2023-02-15T03:42:59Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文 参考訳（メタデータ） (2022-10-31T22:59:03Z) - Semi-Synchronous Personalized Federated Learning over Mobile Edge
Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。
我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。
PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文 参考訳（メタデータ） (2022-09-27T02:12:43Z) - Combating Client Dropout in Federated Learning via Friend Model
Substitution [8.325089307976654]
Federated Learning(FL)は、データプライバシと通信効率のメリットで知られる、新たな分散機械学習フレームワークである。
本稿では,受動的部分的クライアント参加シナリオについて検討する。
我々は,データ配信に類似したクライアントの友人を検出する新しいアルゴリズムFL-FDMSを開発した。
MNISTとCIFAR-10の実験により、FL-FDMSのFLにおけるクライアントドロップアウト処理における優れた性能が確認された。
論文 参考訳（メタデータ） (2022-05-26T08:34:28Z) - FL Games: A federated learning framework for distribution shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
論文 参考訳（メタデータ） (2022-05-23T07:51:45Z) - Proportional Fairness in Federated Learning [27.086313029073683]
PropFairは、フェデレート学習において、比例的に公平な解を見つけるための、新しく簡単に実装できるアルゴリズムである。
PropFairはおよそPFソリューションを見つけることができ、すべてのクライアントの平均的なパフォーマンスと最悪の10%のクライアントのバランスがとれることを実証します。
論文 参考訳（メタデータ） (2022-02-03T16:28:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。