論文の概要: A Bayesian Federated Learning Framework with Multivariate Gaussian
Product
- arxiv url: http://arxiv.org/abs/2102.01936v1
- Date: Wed, 3 Feb 2021 08:36:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 17:41:37.384484
- Title: A Bayesian Federated Learning Framework with Multivariate Gaussian
Product
- Title（参考訳）: 多変量ガウス積を用いたベイズ連合学習フレームワーク
- Authors: Liangxi Liu and Feng Zheng
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがデータを共有することなく、グローバルに共有されたモデルを共同で学習することを可能にする。
本稿では,サーバ上でのモデル集約段階から生じる凝集誤差(AE)という新しい問題について検討する。
本稿では,複数回の事前集計によって局所的な後部パラメータを推定できる新しいFederated Online Laplace Approximation (FOLA)法を提案する。
- 参考スコア（独自算出の注目度）: 35.32246553259555
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning (FL) allows multiple clients to collaboratively learn a
globally shared model through cycles of model aggregation and local model
training without the need to share data. In this paper, we comprehensively
study a new problem named aggregation error (AE), arising from the model
aggregation stage on a server, which is mainly induced by the heterogeneity of
the client data. Due to the large discrepancies between local models, the
accompanying large AE generally results in a slow convergence and an expected
reduction of accuracy for FL. In order to reduce AE, we propose a novel
federated learning framework from a Bayesian perspective, in which a
multivariate Gaussian product mechanism is employed to aggregate the local
models. It is worth noting that the product of Gaussians is still a Gaussian.
This property allows us to directly aggregate local expectations and
covariances in a definitely convex form, thereby greatly reducing the AE.
Accordingly, on the clients, we develop a new Federated Online Laplace
Approximation (FOLA) method, which can estimate the parameters of the local
posterior by repeatedly accumulating priors. Specifically, in every round, the
global posterior distributed from the server can be treated as the priors, and
thus the local posterior can also be effectively approximated by a Gaussian
using FOLA. Experimental results on benchmarks reach state-of-the-arts
performance and clearly demonstrate the advantages of the proposed method.
- Abstract（参考訳）: フェデレーション学習(fl)により、複数のクライアントは、データを共有することなく、モデル集約とローカルモデルトレーニングのサイクルを通じて、グローバルな共有モデルを共同学習することができる。
本論文では,サーバ上のモデル集約段階から生じる,クライアントデータの不均一性によって主に引き起こされる新たなアグリゲーションエラー(AE)を総合的に検討する。
局所モデル間の大きな相違により、伴う大きなAEは一般的には収束が遅く、FLの精度が低下すると予想される。
AEを低減するために,ベイズの観点から,多変量ガウス積分機構を用いて局所モデルを集約する,新たな連合学習フレームワークを提案する。
ガウスの積がまだガウスの積であることは注目に値する。
この性質により、局所的な期待と共分散を直接絶対凸形式に集約することができ、その結果、AEは大幅に減少する。
そこで,クライアント側では,前処理を繰り返し蓄積することで,後部のパラメータを推定できる新しいフェデレートオンラインラプラス近似法(fola)を開発した。
具体的には、各ラウンドにおいて、サーバから配布されたグローバル後方をプリエントとして扱うことができ、したがって局所後方をフォラを用いてガウス式で効果的に近似することができる。
ベンチマーク実験の結果は最先端性能に達し,提案手法の利点を明確に示している。
関連論文リスト
- Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning [0.8287206589886879]
クラスワイドフェデレーション(cwFedAVG) クラスワイドで、サーバ上のクラスごとに複数のグローバルモデルを作成する。
各局所モデルは、その推定された局所クラス分布によって重み付けされたこれらの大域的モデルを統合し、深いネットワーク重みのL2ノルムから導かれる。
また,局所分布推定の精度を高めるために,新たにWDR (Weight Distribution Regularizer) を設計した。
論文 参考訳（メタデータ） (2024-06-12T01:32:24Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳（メタデータ） (2023-11-14T14:37:33Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。
FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。
最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-05-18T05:58:24Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳（メタデータ） (2021-08-23T15:47:53Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。