論文の概要: Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization
- arxiv url: http://arxiv.org/abs/2305.12557v1
- Date: Sun, 21 May 2023 20:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 19:33:17.501230
- Title: Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization
- Title（参考訳）: 変動期待最大化による信頼度対応型連合学習
- Authors: Junyi Zhu, Xingchen Ma, Matthew B. Blaschko
- Abstract要約: パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 34.354154518009956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a distributed learning scheme to train a shared
model across clients. One common and fundamental challenge in FL is that the
sets of data across clients could be non-identically distributed and have
different sizes. Personalized Federated Learning (PFL) attempts to solve this
challenge via locally adapted models. In this work, we present a novel
framework for PFL based on hierarchical Bayesian modeling and variational
inference. A global model is introduced as a latent variable to augment the
joint distribution of clients' parameters and capture the common trends of
different clients, optimization is derived based on the principle of maximizing
the marginal likelihood and conducted using variational expectation
maximization. Our algorithm gives rise to a closed-form estimation of a
confidence value which comprises the uncertainty of clients' parameters and
local model deviations from the global model. The confidence value is used to
weigh clients' parameters in the aggregation stage and adjust the
regularization effect of the global model. We evaluate our method through
extensive empirical studies on multiple datasets. Experimental results show
that our approach obtains competitive results under mild heterogeneous
circumstances while significantly outperforming state-of-the-art PFL frameworks
in highly heterogeneous settings. Our code is available at
https://github.com/JunyiZhu-AI/confidence_aware_PFL.
- Abstract（参考訳）: Federated Learning(FL)は、クライアント間で共有モデルをトレーニングする分散学習スキームである。
flの共通かつ根本的な課題のひとつは、クライアント間のデータのセットが非識別的に分散され、サイズが異なることだ。
パーソナライズド・フェデレート・ラーニング(PFL)は、局所的に適応したモデルによってこの問題を解決する。
本研究では,階層型ベイズモデルと変分推論に基づくPFLの新しいフレームワークを提案する。
クライアントのパラメータの結合分布を増大させ、異なるクライアントの共通トレンドを捉えるための潜在変数としてグローバルモデルを導入し、限界確率を最大化する原理に基づいて最適化し、変動予測最大化を用いて実行する。
本アルゴリズムは,クライアントのパラメータの不確かさとグローバルモデルからの局所モデル偏差を含む信頼度値のクローズドフォーム推定を導出する。
信頼値は、集約段階におけるクライアントのパラメータの重み付けと、グローバルモデルの正規化効果の調整に使用される。
提案手法は,複数のデータセットに対する広範な実証研究を通じて評価する。
実験結果から,本手法は軽度不均質な状況下での競争結果を得るとともに,高度に異質な環境では最先端のpflフレームワークを著しく上回っていることがわかった。
私たちのコードはhttps://github.com/JunyiZhu-AI/confidence_aware_PFLで公開されています。
関連論文リスト
- FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。
広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。
本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
論文 参考訳（メタデータ） (2024-11-04T05:44:28Z) - On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。
我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。
実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-07-23T11:35:42Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。