論文の概要: Mitigating Disparate Impact of Differential Privacy in Federated Learning through Robust Clustering

• arxiv url: http://arxiv.org/abs/2405.19272v1
• Date: Wed, 29 May 2024 17:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 16:12:12.357925
• Title: Mitigating Disparate Impact of Differential Privacy in Federated Learning through Robust Clustering
• Title（参考訳）: ロバストクラスタリングによるフェデレーション学習における差分プライバシーの影響の軽減
• Authors: Saber Malekmohammadi, Afaf Taik, Golnoosh Farnadi,
• Abstract要約: Federated Learning(FL)は、データをローカライズする分散機械学習(ML)アプローチである。 最近の研究は、クラスタリングによるバニラFLの性能公平性に対処しようと試みているが、この手法は依然として敏感であり、エラーを起こしやすい。 本稿では,クライアントのクラスタを高度に均一な設定で効果的に識別する新しいクラスタ化DPFLアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.768272342753616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a decentralized machine learning (ML) approach that keeps data localized and often incorporates Differential Privacy (DP) to enhance privacy guarantees. Similar to previous work on DP in ML, we observed that differentially private federated learning (DPFL) introduces performance disparities, particularly affecting minority groups. Recent work has attempted to address performance fairness in vanilla FL through clustering, but this method remains sensitive and prone to errors, which are further exacerbated by the DP noise in DPFL. To fill this gap, in this paper, we propose a novel clustered DPFL algorithm designed to effectively identify clients' clusters in highly heterogeneous settings while maintaining high accuracy with DP guarantees. To this end, we propose to cluster clients based on both their model updates and training loss values. Our proposed approach also addresses the server's uncertainties in clustering clients' model updates by employing larger batch sizes along with Gaussian Mixture Model (GMM) to alleviate the impact of noise and potential clustering errors, especially in privacy-sensitive scenarios. We provide theoretical analysis of the effectiveness of our proposed approach. We also extensively evaluate our approach across diverse data distributions and privacy budgets and show its effectiveness in mitigating the disparate impact of DP in FL settings with a small computational cost.
• Abstract（参考訳）: Federated Learning(FL)は、データをローカライズする分散機械学習(ML)アプローチである。 MLにおけるDPに関するこれまでの研究と同様、DPFL(差分的私的フェデレーションラーニング)がパフォーマンス格差、特に少数派に影響を及ぼすことが観察された。 最近の研究は、クラスタリングによるバニラFLの性能公平性に対処しようと試みているが、DPFLのDPノイズによりさらに悪化する誤差に対して、この手法は依然として敏感で困難である。 このギャップを埋めるために,本研究では,クライアントのクラスタを高い不均一な設定で効果的に識別し,DP保証の精度を維持しつつ,クラスタリングされたDPFLアルゴリズムを提案する。 この目的のために、モデル更新と損失値のトレーニングの両方に基づいて、クライアントをクラスタ化することを提案する。 提案手法は,特にプライバシーに敏感なシナリオにおいて,ガウス混合モデル(GMM)とともにより大きなバッチサイズを用いて,クラスタリングクライアントのモデル更新におけるサーバの不確実性にも対処する。 提案手法の有効性を理論的に分析する。 また、様々なデータ配信やプライバシー予算にまたがるアプローチを広く評価し、計算コストの少ないFL設定におけるDPの影響を緩和する効果を示した。

関連論文リスト

• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• The Power of Bias: Optimizing Client Selection in Federated Learning with Heterogeneous Differential Privacy [38.55420329607416]
  データ品質とDPノイズの影響は、クライアントを選択する際に考慮する必要がある。 実データセットを凸損失関数と非凸損失関数の両方で実験する。
  論文  参考訳（メタデータ） (2024-08-16T10:19:27Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• Personalized Graph Federated Learning with Differential Privacy [6.282767337715445]
  本稿では、分散接続されたサーバとそのエッジデバイスが協調してデバイスやクラスタ固有のモデルを学習する、パーソナライズされたグラフフェデレーション学習(PGFL)フレームワークを提案する。 本稿では、差分プライバシー、特にノイズシーケンスがモデル交換を行うゼロ集中差分プライバシーを利用するPGFL実装の変種について検討する。 分析の結果,このアルゴリズムは,ゼロ集中型差分プライバシーの観点から,全クライアントの局所的な差分プライバシを保証することがわかった。
  論文  参考訳（メタデータ） (2023-06-10T09:52:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。