論文の概要: A Bayesian Federated Learning Framework with Multivariate Gaussian Product

• arxiv url: http://arxiv.org/abs/2102.01936v1
• Date: Wed, 3 Feb 2021 08:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-02-04 17:41:37.384484
• Title: A Bayesian Federated Learning Framework with Multivariate Gaussian Product
• Title（参考訳）: 多変量ガウス積を用いたベイズ連合学習フレームワーク
• Authors: Liangxi Liu and Feng Zheng
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントがデータを共有することなく、グローバルに共有されたモデルを共同で学習することを可能にする。 本稿では,サーバ上でのモデル集約段階から生じる凝集誤差(AE)という新しい問題について検討する。 本稿では,複数回の事前集計によって局所的な後部パラメータを推定できる新しいFederated Online Laplace Approximation (FOLA)法を提案する。
• 参考スコア（独自算出の注目度）: 35.32246553259555
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) allows multiple clients to collaboratively learn a globally shared model through cycles of model aggregation and local model training without the need to share data. In this paper, we comprehensively study a new problem named aggregation error (AE), arising from the model aggregation stage on a server, which is mainly induced by the heterogeneity of the client data. Due to the large discrepancies between local models, the accompanying large AE generally results in a slow convergence and an expected reduction of accuracy for FL. In order to reduce AE, we propose a novel federated learning framework from a Bayesian perspective, in which a multivariate Gaussian product mechanism is employed to aggregate the local models. It is worth noting that the product of Gaussians is still a Gaussian. This property allows us to directly aggregate local expectations and covariances in a definitely convex form, thereby greatly reducing the AE. Accordingly, on the clients, we develop a new Federated Online Laplace Approximation (FOLA) method, which can estimate the parameters of the local posterior by repeatedly accumulating priors. Specifically, in every round, the global posterior distributed from the server can be treated as the priors, and thus the local posterior can also be effectively approximated by a Gaussian using FOLA. Experimental results on benchmarks reach state-of-the-arts performance and clearly demonstrate the advantages of the proposed method.
• Abstract（参考訳）: フェデレーション学習(fl)により、複数のクライアントは、データを共有することなく、モデル集約とローカルモデルトレーニングのサイクルを通じて、グローバルな共有モデルを共同学習することができる。 本論文では,サーバ上のモデル集約段階から生じる,クライアントデータの不均一性によって主に引き起こされる新たなアグリゲーションエラー(AE)を総合的に検討する。 局所モデル間の大きな相違により、伴う大きなAEは一般的には収束が遅く、FLの精度が低下すると予想される。 AEを低減するために,ベイズの観点から,多変量ガウス積分機構を用いて局所モデルを集約する,新たな連合学習フレームワークを提案する。 ガウスの積がまだガウスの積であることは注目に値する。 この性質により、局所的な期待と共分散を直接絶対凸形式に集約することができ、その結果、AEは大幅に減少する。 そこで,クライアント側では,前処理を繰り返し蓄積することで,後部のパラメータを推定できる新しいフェデレートオンラインラプラス近似法(fola)を開発した。 具体的には、各ラウンドにおいて、サーバから配布されたグローバル後方をプリエントとして扱うことができ、したがって局所後方をフォラを用いてガウス式で効果的に近似することができる。 ベンチマーク実験の結果は最先端性能に達し,提案手法の利点を明確に示している。

関連論文リスト

• FedMerge: Federated Personalization via Model Merging [51.12769696559237]
  1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。 我々は、複数のグローバルモデルをマージするだけで、クライアントごとにパーソナライズされたモデルを作成することができる新しいFedMergeのアプローチを提案する。 我々はFedMergeを、さまざまなタスクとデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定で評価する。
  論文  参考訳（メタデータ） (2025-04-09T10:44:14Z)
• FedBEns: One-Shot Federated Learning based on Bayesian Ensemble [9.653976364051564]
  One-Shot Federated Learning (FL)は、複数のクライアントが中央サーバとの1ラウンドの通信でグローバルモデルを協調的に学習することを可能にする、最近のパラダイムである。 我々は,局所的損失関数の固有多モード性を利用して,より優れたグローバルモデルを求めるアルゴリズムであるFedBEnsを提案する。
  論文  参考訳（メタデータ） (2025-03-19T16:05:52Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning [0.8287206589886879]
  クラスワイドフェデレーション(cwFedAVG) クラスワイドで、サーバ上のクラスごとに複数のグローバルモデルを作成する。 各局所モデルは、その推定された局所クラス分布によって重み付けされたこれらの大域的モデルを統合し、深いネットワーク重みのL2ノルムから導かれる。 また,局所分布推定の精度を高めるために,新たにWDR (Weight Distribution Regularizer) を設計した。
  論文  参考訳（メタデータ） (2024-06-12T01:32:24Z)
• One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models [40.83058938096914]
  FedLMGは局所モデル誘導拡散モデルを用いた単発フェデレーション学習法である。 クライアントはファンデーションモデルにアクセスする必要はなく、ローカルモデルのトレーニングとアップロードのみを行う。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
  我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。 最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-18T05:58:24Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。