論文の概要: Differentially Private Clustered Federated Learning

• arxiv url: http://arxiv.org/abs/2405.19272v3
• Date: Tue, 11 Feb 2025 04:20:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 17:19:31.018232
• Title: Differentially Private Clustered Federated Learning
• Title（参考訳）: 個人差分クラスタ型フェデレーションラーニング
• Authors: Saber Malekmohammadi, Afaf Taik, Golnoosh Farnadi,
• Abstract要約: フェデレートラーニング(FL)は、厳格なデータプライバシ保証を提供するために、しばしば差分プライバシ(DP)を取り入れる。 以前の研究は、クラスタリングクライアント(クラスタ化FL)を介してバニラFL設定における高構造データ不均一性に対処しようとした。 システム内のDPノイズに対して頑健で,基盤となるクライアントのクラスタを正しく識別する,差分プライベートクラスタリングFLのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.768272342753616
• License:
• Abstract: Federated learning (FL), which is a decentralized machine learning (ML) approach, often incorporates differential privacy (DP) to provide rigorous data privacy guarantees. Previous works attempted to address high structured data heterogeneity in vanilla FL settings through clustering clients (a.k.a clustered FL), but these methods remain sensitive and prone to errors, further exacerbated by the DP noise. This vulnerability makes the previous methods inappropriate for differentially private FL (DPFL) settings with structured data heterogeneity. To address this gap, we propose an algorithm for differentially private clustered FL, which is robust to the DP noise in the system and identifies the underlying clients' clusters correctly. To this end, we propose to cluster clients based on both their model updates and training loss values. Furthermore, for clustering clients' model updates at the end of the first round, our proposed approach addresses the server's uncertainties by employing large batch sizes as well as Gaussian Mixture Models (GMM) to reduce the impact of DP and stochastic noise and avoid potential clustering errors. This idea is efficient especially in privacy-sensitive scenarios with more DP noise. We provide theoretical analysis to justify our approach and evaluate it across diverse data distributions and privacy budgets. Our experimental results show its effectiveness in addressing large structured data heterogeneity in DPFL.
• Abstract（参考訳）: 分散機械学習(ML)アプローチであるフェデレートラーニング(FL)は、厳格なデータプライバシ保証を提供するために、しばしば差分プライバシ(DP)を取り入れている。 以前の研究は、クラスタリングクライアント(つまりクラスタ化FL)を通して、バニラFL設定の高構造データ不均一性に対処しようとしたが、これらの手法は機密性を持ち、誤りを生じやすくし、さらにDPノイズによって悪化した。 この脆弱性により、従来の手法は構造化データの不均一性を持つ差分プライベートFL(DPFL)設定には不適当である。 このギャップに対処するために,システム内のDPノイズに頑健で,基盤となるクライアントのクラスタを正しく識別する,差分プライベートクラスタリングFLのアルゴリズムを提案する。 この目的のために、モデル更新と損失値のトレーニングの両方に基づいて、クライアントをクラスタ化することを提案する。 さらに,第1ラウンド終了時のクラスタリングクライアントモデル更新では,大規模バッチサイズとガウス混合モデル(GMM)を用いて,DPと確率ノイズの影響を低減し,クラスタリングエラーの可能性を回避し,サーバの不確実性に対処する。 このアイデアは特にDPノイズの多いプライバシーに敏感なシナリオでは効果的です。 我々は、我々のアプローチを正当化し、様々なデータ配信とプライバシー予算にまたがって評価するための理論的分析を提供する。 実験の結果,DPFLにおける大規模構造データの不均一性に対処する上での有効性が示された。

関連論文リスト

• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• The Power of Bias: Optimizing Client Selection in Federated Learning with Heterogeneous Differential Privacy [38.55420329607416]
  データ品質とDPノイズの影響は、クライアントを選択する際に考慮する必要がある。 実データセットを凸損失関数と非凸損失関数の両方で実験する。
  論文  参考訳（メタデータ） (2024-08-16T10:19:27Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• Personalized Graph Federated Learning with Differential Privacy [6.282767337715445]
  本稿では、分散接続されたサーバとそのエッジデバイスが協調してデバイスやクラスタ固有のモデルを学習する、パーソナライズされたグラフフェデレーション学習(PGFL)フレームワークを提案する。 本稿では、差分プライバシー、特にノイズシーケンスがモデル交換を行うゼロ集中差分プライバシーを利用するPGFL実装の変種について検討する。 分析の結果,このアルゴリズムは,ゼロ集中型差分プライバシーの観点から,全クライアントの局所的な差分プライバシを保証することがわかった。
  論文  参考訳（メタデータ） (2023-06-10T09:52:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。