論文の概要: Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering

• arxiv url: http://arxiv.org/abs/2303.04345v1
• Date: Wed, 8 Mar 2023 02:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 15:19:51.682714
• Title: Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering
• Title（参考訳）: 変分ベイズ推論による連合学習:パーソナライズ、スパーシティ、クラスタリング
• Authors: Xu Zhang, Wenpeng Li, Yunfeng Shao, Yinchuan Li
• Abstract要約: Federated Learning(FL)は、分散機械学習をモデル化する有望なフレームワークである。 FLは異種データや限られたデータからの性能劣化に悩まされる。 pFedBayesとcFedBayesというクラスタリングFLモデルを提案する。
• 参考スコア（独自算出の注目度）: 6.829317124629158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a promising framework that models distributed machine learning while protecting the privacy of clients. However, FL suffers performance degradation from heterogeneous and limited data. To alleviate the degradation, we present a novel personalized Bayesian FL approach named pFedBayes. By using the trained global distribution from the server as the prior distribution of each client, each client adjusts its own distribution by minimizing the sum of the reconstruction error over its personalized data and the KL divergence with the downloaded global distribution. Then, we propose a sparse personalized Bayesian FL approach named sFedBayes. To overcome the extreme heterogeneity in non-i.i.d. data, we propose a clustered Bayesian FL model named cFedbayes by learning different prior distributions for different clients. Theoretical analysis gives the generalization error bound of three approaches and shows that the generalization error convergence rates of the proposed approaches achieve minimax optimality up to a logarithmic factor. Moreover, the analysis presents that cFedbayes has a tighter generalization error rate than pFedBayes. Numerous experiments are provided to demonstrate that the proposed approaches have better performance than other advanced personalized methods on private models in the presence of heterogeneous and limited data.
• Abstract（参考訳）: Federated Learning(FL)は、分散機械学習をモデル化し、クライアントのプライバシを保護する、有望なフレームワークである。 しかし、FLは異種データや限られたデータからの性能劣化に悩まされる。 劣化を緩和するため,pFedBayesという新規なベイズFLアプローチを提案する。 各クライアントは、サーバからトレーニングしたグローバル分布を各クライアントの事前分布として使用することにより、パーソナライズされたデータに対する再構成エラーの総和と、ダウンロードされたグローバル分布とのKL分散を最小化して、独自の分散を調整する。 次に, sFedBayes という名前のベイズFLアプローチを提案する。 非i.i.d.データの極端な不均一性を克服するために、異なるクライアントに対する異なる事前分布を学習することにより、cfedbayes と呼ばれるクラスタ化されたベイズflモデルを提案する。 理論解析は3つのアプローチの一般化誤差境界を与え、提案手法の一般化誤差収束率は対数係数までミニマックス最適性を達成することを示した。 さらに、解析により、cFedbayes は pFedBayes よりも厳密な一般化誤差率を示す。 提案手法は、異種データや限定データの存在下で、他の高度なパーソナライズ手法よりも優れた性能を示すことを示すために、数多くの実験を行った。

関連論文リスト

• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Personalized Federated Learning via Variational Bayesian Inference [6.671486716769351]
  フェデレーション学習は、データ不足とクライアント間の統計的多様性のために、モデル過適合による大きな課題に直面します。 本稿では,pFedBayes というベイズ変分推論を用いた個人化学習手法を提案する。 実験により,提案手法はパーソナライズされたモデルにおいて,他の高度なパーソナライズされた手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-16T07:37:02Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。