論文の概要: Personalized Federated Learning under Mixture of Distributions
- arxiv url: http://arxiv.org/abs/2305.01068v1
- Date: Mon, 1 May 2023 20:04:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 16:09:29.149125
- Title: Personalized Federated Learning under Mixture of Distributions
- Title(参考訳): 分布混合による個人化フェデレーション学習
- Authors: Yue Wu, Shuaicheng Zhang, Wenchao Yu, Yanchi Liu, Quanquan Gu, Dawei
Zhou, Haifeng Chen, Wei Cheng
- Abstract要約: 本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
- 参考スコア(独自算出の注目度): 98.25444470990107
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The recent trend towards Personalized Federated Learning (PFL) has garnered
significant attention as it allows for the training of models that are tailored
to each client while maintaining data privacy. However, current PFL techniques
primarily focus on modeling the conditional distribution heterogeneity (i.e.
concept shift), which can result in suboptimal performance when the
distribution of input data across clients diverges (i.e. covariate shift).
Additionally, these techniques often lack the ability to adapt to unseen data,
further limiting their effectiveness in real-world scenarios. To address these
limitations, we propose a novel approach, FedGMM, which utilizes Gaussian
mixture models (GMM) to effectively fit the input data distributions across
diverse clients. The model parameters are estimated by maximum likelihood
estimation utilizing a federated Expectation-Maximization algorithm, which is
solved in closed form and does not assume gradient similarity. Furthermore,
FedGMM possesses an additional advantage of adapting to new clients with
minimal overhead, and it also enables uncertainty quantification. Empirical
evaluations on synthetic and benchmark datasets demonstrate the superior
performance of our method in both PFL classification and novel sample
detection.
- Abstract(参考訳): PFL(Personalized Federated Learning)に対する最近のトレンドは、データのプライバシを維持しながら、各クライアントに適したモデルのトレーニングを可能にすることで、大きな注目を集めている。
しかし、現在のPFL技術は主に条件分布の不均一性(概念シフト)のモデル化に重点を置いており、これはクライアント間での入力データの分散(共変量シフト)が分散する際の最適以下の性能をもたらす。
さらに、これらの技術は目に見えないデータに適応する能力に欠けることが多く、現実のシナリオでの有効性をさらに制限する。
これらの制約に対処するために,ガウス混合モデル(GMM)を用いて多様なクライアント間の入力データ分散を効果的に適合させる新しいアプローチであるFedGMMを提案する。
モデルパラメータは、閉形式で解き、勾配類似性を仮定しないフェデレーション期待最大化アルゴリズムを用いた最大確率推定によって推定される。
さらに、FedGMMは新しいクライアントに最小限のオーバーヘッドで適応する利点があり、また不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - Leveraging Foundation Models to Improve Lightweight Clients in Federated
Learning [16.684749528240587]
Federated Learning(FL)は、世界中に散在するクライアントが機密データを漏らさずにグローバルモデルを共同で学習することを可能にする、分散トレーニングパラダイムである。
FLは、クライアント間での不均一なデータ分散という形で大きな課題に直面しており、パフォーマンスとロバスト性は低下している。
本稿では,軽量クライアントモデルの連合訓練を支援し,推論コストを低く抑えつつ,不均一なデータ設定下での性能を向上させる基礎モデル蒸留について紹介する。
論文 参考訳(メタデータ) (2023-11-14T19:10:56Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-21T20:12:27Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-05-04T12:21:34Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations [58.192338472631405]
FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。
プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
論文 参考訳(メタデータ) (2023-02-02T12:56:46Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - FedPop: A Bayesian Approach for Personalised Federated Learning [25.67466138369391]
パーソナライズド・フェデレーションド・ラーニング(Personalized Federated Learning)は、各クライアント用にテイラーされた機械学習モデルを協調的に学習することを目的とする。
我々は、個人化されたFLを集団モデルパラダイムに再キャストすることで、FedPopという新しい手法を提案する。
既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度な計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
論文 参考訳(メタデータ) (2022-06-07T22:52:59Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。