論文の概要: Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization
- arxiv url: http://arxiv.org/abs/2305.12557v1
- Date: Sun, 21 May 2023 20:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 19:33:17.501230
- Title: Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization
- Title(参考訳): 変動期待最大化による信頼度対応型連合学習
- Authors: Junyi Zhu, Xingchen Ma, Matthew B. Blaschko
- Abstract要約: パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 34.354154518009956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed learning scheme to train a shared
model across clients. One common and fundamental challenge in FL is that the
sets of data across clients could be non-identically distributed and have
different sizes. Personalized Federated Learning (PFL) attempts to solve this
challenge via locally adapted models. In this work, we present a novel
framework for PFL based on hierarchical Bayesian modeling and variational
inference. A global model is introduced as a latent variable to augment the
joint distribution of clients' parameters and capture the common trends of
different clients, optimization is derived based on the principle of maximizing
the marginal likelihood and conducted using variational expectation
maximization. Our algorithm gives rise to a closed-form estimation of a
confidence value which comprises the uncertainty of clients' parameters and
local model deviations from the global model. The confidence value is used to
weigh clients' parameters in the aggregation stage and adjust the
regularization effect of the global model. We evaluate our method through
extensive empirical studies on multiple datasets. Experimental results show
that our approach obtains competitive results under mild heterogeneous
circumstances while significantly outperforming state-of-the-art PFL frameworks
in highly heterogeneous settings. Our code is available at
https://github.com/JunyiZhu-AI/confidence_aware_PFL.
- Abstract(参考訳): Federated Learning(FL)は、クライアント間で共有モデルをトレーニングする分散学習スキームである。
flの共通かつ根本的な課題のひとつは、クライアント間のデータのセットが非識別的に分散され、サイズが異なることだ。
パーソナライズド・フェデレート・ラーニング(PFL)は、局所的に適応したモデルによってこの問題を解決する。
本研究では,階層型ベイズモデルと変分推論に基づくPFLの新しいフレームワークを提案する。
クライアントのパラメータの結合分布を増大させ、異なるクライアントの共通トレンドを捉えるための潜在変数としてグローバルモデルを導入し、限界確率を最大化する原理に基づいて最適化し、変動予測最大化を用いて実行する。
本アルゴリズムは,クライアントのパラメータの不確かさとグローバルモデルからの局所モデル偏差を含む信頼度値のクローズドフォーム推定を導出する。
信頼値は、集約段階におけるクライアントのパラメータの重み付けと、グローバルモデルの正規化効果の調整に使用される。
提案手法は,複数のデータセットに対する広範な実証研究を通じて評価する。
実験結果から,本手法は軽度不均質な状況下での競争結果を得るとともに,高度に異質な環境では最先端のpflフレームワークを著しく上回っていることがわかった。
私たちのコードはhttps://github.com/JunyiZhu-AI/confidence_aware_PFLで公開されています。
関連論文リスト
- FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳(メタデータ) (2024-02-10T18:14:57Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - FedMR: Federated Learning via Model Recombination [12.641005501252467]
Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現します。
我々はFedMR(Federated Model Recombination)という新しい効果的なFLパラダイムを提案する。
従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。
論文 参考訳(メタデータ) (2023-05-18T05:58:24Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - PGFed: Personalize Each Client's Global Objective for Federated Learning [7.810284483002312]
本稿では,各クライアントが自身のグローバルな目的をパーソナライズ可能な,パーソナライズされたFLフレームワークを提案する。
大規模な(O(N2))通信オーバーヘッドと潜在的なプライバシリークを回避するため、各クライアントのリスクは、他のクライアントの適応的リスクアグリゲーションの1次近似によって推定される。
異なるフェデレーション条件下での4つのデータセットに対する実験により,従来の最先端手法よりも一貫したPGFの改良が示された。
論文 参考訳(メタデータ) (2022-12-02T21:16:39Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳(メタデータ) (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。