論文の概要: Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations

• arxiv url: http://arxiv.org/abs/2309.15499v2
• Date: Tue, 3 Oct 2023 07:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 07:13:55.311028
• Title: Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
• Title（参考訳）: 共有・パーソナライズされた不確かさ表現を用いたベイズ的個人化フェデレーション学習
• Authors: Hui Chen, Hengyu Liu, Longbing Cao, Tiancheng Zhang
• Abstract要約: 本稿では,統計学的に不均一なクライアントデータに対する共有およびパーソナライズされた不確実性表現を時間とともに分解・学習する汎用BPFLフレームワークを提案する。 ベイズ連合ニューラルネットワークBPFedは、統計的に不均一でランダムに参加するクライアントに対して、クロスクライアント共有不確実性とクライアント固有のパーソナライズされた不確実性を共同学習することによりBPFLをインスタンス化する。
• 参考スコア（独自算出の注目度）: 28.606257659315986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian personalized federated learning (BPFL) addresses challenges in existing personalized FL (PFL). BPFL aims to quantify the uncertainty and heterogeneity within and across clients towards uncertainty representations by addressing the statistical heterogeneity of client data. In PFL, some recent preliminary work proposes to decompose hidden neural representations into shared and local components and demonstrates interesting results. However, most of them do not address client uncertainty and heterogeneity in FL systems, while appropriately decoupling neural representations is challenging and often ad hoc. In this paper, we make the first attempt to introduce a general BPFL framework to decompose and jointly learn shared and personalized uncertainty representations on statistically heterogeneous client data over time. A Bayesian federated neural network BPFed instantiates BPFL by jointly learning cross-client shared uncertainty and client-specific personalized uncertainty over statistically heterogeneous and randomly participating clients. We further involve continual updating of prior distribution in BPFed to speed up the convergence and avoid catastrophic forgetting. Theoretical analysis and guarantees are provided in addition to the experimental evaluation of BPFed against the diversified baselines.
• Abstract（参考訳）: ベイジアン・パーソナライズド・フェデレーション・ラーニング(BPFL)は、既存のパーソナライズド・FL(PFL)における課題に対処する。 BPFLは、クライアントデータの統計的不均一性に対処することにより、クライアント内の不確実性と不均一性を不確実性表現に向けて定量化する。 PFLでは、隠れた神経表現を共有コンポーネントとローカルコンポーネントに分解し、興味深い結果を示すという最近の予備研究が提案されている。 しかし、その多くはFLシステムにおけるクライアントの不確実性や不均一性に対処するものではなく、適切に神経表現を分離することは困難であり、しばしばアドホックである。 本稿では,統計的に不均一なクライアントデータに対する共有およびパーソナライズされた不確実性表現を時間とともに分解し,共同で学習する汎用BPFLフレームワークを提案する。 ベイズ連合ニューラルネットワークBPFedは、統計的に不均一でランダムに参加するクライアントに対して、クロスクライアント共有不確実性とクライアント固有のパーソナライズされた不確実性を共同学習することによりBPFLをインスタンス化する。 さらに,BPFedにおける事前分布の連続的な更新を伴い,収束を高速化し,破滅的忘れを避ける。 BPFedの分散基線に対する実験的評価に加えて、理論的解析と保証が提供される。

関連論文リスト

• BACSA: A Bias-Aware Client Selection Algorithm for Privacy-Preserving Federated Learning in Wireless Healthcare Networks [0.5524804393257919]
  本稿では,ユーザのバイアスを検知し,バイアスプロファイルに基づいてクライアントを戦略的に選択するBias-Aware Client Selection Algorithm (BACSA)を提案する。 BACSAは、Quality of Service(QoS)、プライバシ、セキュリティが最重要である、機密性の高い医療アプリケーションに適している。
  論文  参考訳（メタデータ） (2024-11-01T21:34:43Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• PGFed: Personalize Each Client's Global Objective for Federated Learning [7.810284483002312]
  本稿では,各クライアントが自身のグローバルな目的をパーソナライズ可能な,パーソナライズされたFLフレームワークを提案する。 大規模な(O(N2))通信オーバーヘッドと潜在的なプライバシリークを回避するため、各クライアントのリスクは、他のクライアントの適応的リスクアグリゲーションの1次近似によって推定される。 異なるフェデレーション条件下での4つのデータセットに対する実験により,従来の最先端手法よりも一貫したPGFの改良が示された。
  論文  参考訳（メタデータ） (2022-12-02T21:16:39Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection [16.975086164684882]
  Federated Learning(FL)は、クライアントが自身のローカルデータ上でモデルを協調的にトレーニングできる分散機械学習パラダイムである。 FLの性能劣化の原因を数学的に検証し,様々なデータセット上でのFLの性能について検討する。 そこで我々はDubheという名のプラグイン可能なシステムレベルのクライアント選択手法を提案し,HEの助けを借りてクライアントを積極的にトレーニングに参加させ,プライバシを保護できるようにする。
  論文  参考訳（メタデータ） (2021-09-08T13:00:46Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。