論文の概要: Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings
- arxiv url: http://arxiv.org/abs/2306.07959v1
- Date: Tue, 13 Jun 2023 17:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 12:25:38.567939
- Title: Privacy Preserving Bayesian Federated Learning in Heterogeneous Settings
- Title（参考訳）: 異種環境におけるベイズ連関学習のプライバシー保護
- Authors: Disha Makhija and Joydeep Ghosh and Nhat Ho
- Abstract要約: 本稿では,大規模なローカルデータセットがなくても,カスタマイズされたローカルベイズモデルに基づく統合学習フレームワークを提案する。
ネットワークの機能的(アウトプット)空間における事前情報を用いて、異種クライアント間のコラボレーションを容易にする。
標準FLデータセットを用いた実験により、同種および異種両方の設定において、我々のアプローチが強いベースラインより優れていることが示された。
- 参考スコア（独自算出の注目度）: 20.33482170846688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In several practical applications of federated learning (FL), the clients are
highly heterogeneous in terms of both their data and compute resources, and
therefore enforcing the same model architecture for each client is very
limiting. Moreover, the need for uncertainty quantification and data privacy
constraints are often particularly amplified for clients that have limited
local data. This paper presents a unified FL framework to simultaneously
address all these constraints and concerns, based on training customized local
Bayesian models that learn well even in the absence of large local datasets. A
Bayesian framework provides a natural way of incorporating supervision in the
form of prior distributions. We use priors in the functional (output) space of
the networks to facilitate collaboration across heterogeneous clients.
Moreover, formal differential privacy guarantees are provided for this
framework. Experiments on standard FL datasets demonstrate that our approach
outperforms strong baselines in both homogeneous and heterogeneous settings and
under strict privacy constraints, while also providing characterizations of
model uncertainties.
- Abstract（参考訳）: いくつかの実践的なFL(Federated Learning)では、クライアントはデータリソースと計算リソースの両方の観点から非常に異質であるため、各クライアントに同じモデルアーキテクチャを適用することは極めて制限される。
さらに、不確実性の定量化とデータプライバシ制約の必要性は、ローカルデータに制限のあるクライアントに対して特に増幅されることが多い。
本稿では,これらの制約と懸念に同時に対処する統合FLフレームワークについて,大規模な局所データセットがなくても学習可能な,カスタマイズされた局所ベイズモデルに基づいて提案する。
ベイズフレームワークは、事前分布の形で監督を組み込む自然な方法を提供する。
我々は,ネットワークの機能的(アウトプット)領域における優先順位を用いて,異種クライアント間のコラボレーションを促進する。
さらに、このフレームワークには正式な差分プライバシー保証が提供される。
標準flデータセットに関する実験は、同質および異質な設定および厳密なプライバシー制約下での強いベースラインよりも、モデル不確実性のキャラクタリゼーションを提供する方法が優れていることを示している。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳（メタデータ） (2023-12-20T19:11:19Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳（メタデータ） (2023-12-10T07:38:56Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳（メタデータ） (2023-10-30T14:15:47Z) - Profit: Benchmarking Personalization and Robustness Trade-off in
Federated Prompt Tuning [40.16581292336117]
フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。
フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
論文 参考訳（メタデータ） (2023-10-06T23:46:33Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳（メタデータ） (2023-05-19T05:39:40Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Personalized Privacy-Preserving Framework for Cross-Silo Federated
Learning [0.0]
Federated Learning(FL)は有望な分散ディープラーニング(DL)フレームワークであり、プライベートデータを共有することなく、クライアント間で共同でトレーニングされたDLベースのアプローチを可能にする。
本稿では,PPPFL(Personalized Privacy-Preserving Federated Learning)という新しいフレームワークを提案する。
提案するフレームワークは,MNIST,Fashion-MNIST,CIFAR-10,CIFAR-100など,さまざまなデータセット上で複数のFLベースラインより優れている。
論文 参考訳（メタデータ） (2023-02-22T07:24:08Z) - On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。
平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。
平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
論文 参考訳（メタデータ） (2022-06-16T03:26:48Z) - Federated Learning in Non-IID Settings Aided by Differentially Private
Synthetic Data [20.757477553095637]
Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。
連合学習における大きな課題は、局所データが不均一であるときに生じる。
我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
論文 参考訳（メタデータ） (2022-06-01T18:00:48Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。