論文の概要: A Bayesian Federated Learning Framework with Multivariate Gaussian Product

• arxiv url: http://arxiv.org/abs/2102.01936v1
• Date: Wed, 3 Feb 2021 08:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 17:41:37.384484
• Title: A Bayesian Federated Learning Framework with Multivariate Gaussian Product
• Title（参考訳）: 多変量ガウス積を用いたベイズ連合学習フレームワーク
• Authors: Liangxi Liu and Feng Zheng
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがデータを共有することなく、グローバルに共有されたモデルを共同で学習することを可能にする。 本稿では,サーバ上でのモデル集約段階から生じる凝集誤差(AE)という新しい問題について検討する。 本稿では,複数回の事前集計によって局所的な後部パラメータを推定できる新しいFederated Online Laplace Approximation (FOLA)法を提案する。
• 参考スコア（独自算出の注目度）: 35.32246553259555
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) allows multiple clients to collaboratively learn a globally shared model through cycles of model aggregation and local model training without the need to share data. In this paper, we comprehensively study a new problem named aggregation error (AE), arising from the model aggregation stage on a server, which is mainly induced by the heterogeneity of the client data. Due to the large discrepancies between local models, the accompanying large AE generally results in a slow convergence and an expected reduction of accuracy for FL. In order to reduce AE, we propose a novel federated learning framework from a Bayesian perspective, in which a multivariate Gaussian product mechanism is employed to aggregate the local models. It is worth noting that the product of Gaussians is still a Gaussian. This property allows us to directly aggregate local expectations and covariances in a definitely convex form, thereby greatly reducing the AE. Accordingly, on the clients, we develop a new Federated Online Laplace Approximation (FOLA) method, which can estimate the parameters of the local posterior by repeatedly accumulating priors. Specifically, in every round, the global posterior distributed from the server can be treated as the priors, and thus the local posterior can also be effectively approximated by a Gaussian using FOLA. Experimental results on benchmarks reach state-of-the-arts performance and clearly demonstrate the advantages of the proposed method.
• Abstract（参考訳）: フェデレーション学習(fl)により、複数のクライアントは、データを共有することなく、モデル集約とローカルモデルトレーニングのサイクルを通じて、グローバルな共有モデルを共同学習することができる。 本論文では,サーバ上のモデル集約段階から生じる,クライアントデータの不均一性によって主に引き起こされる新たなアグリゲーションエラー(AE)を総合的に検討する。 局所モデル間の大きな相違により、伴う大きなAEは一般的には収束が遅く、FLの精度が低下すると予想される。 AEを低減するために,ベイズの観点から,多変量ガウス積分機構を用いて局所モデルを集約する,新たな連合学習フレームワークを提案する。 ガウスの積がまだガウスの積であることは注目に値する。 この性質により、局所的な期待と共分散を直接絶対凸形式に集約することができ、その結果、AEは大幅に減少する。 そこで,クライアント側では,前処理を繰り返し蓄積することで,後部のパラメータを推定できる新しいフェデレートオンラインラプラス近似法(fola)を開発した。 具体的には、各ラウンドにおいて、サーバから配布されたグローバル後方をプリエントとして扱うことができ、したがって局所後方をフォラを用いてガウス式で効果的に近似することができる。 ベンチマーク実験の結果は最先端性能に達し,提案手法の利点を明確に示している。

関連論文リスト

• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Robust One Round Federated Learning with Predictive Space Bayesian Inference [19.533268415744338]
  クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。 本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-20T01:06:59Z)
• Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes [8.4159776055506]
  我々はガウスの専門家の予測をガウス図形モデル(GGM)により集約する新しいアプローチを提案する。 まず、予測最大化(EM)アルゴリズムを用いて、潜伏変数と観測変数の合同分布を推定する。 我々の新しい手法は他の最先端のDGP手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-07T15:22:56Z)
• Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning [5.882234707363695]
  Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらす フェデアンサンブルは確立されたFL法で容易に利用することができる。
  論文  参考訳（メタデータ） (2021-07-21T14:40:14Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。