論文の概要: Differentially Private Clustered Federated Learning

• arxiv url: http://arxiv.org/abs/2405.19272v5
• Date: Mon, 17 Feb 2025 20:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 10:42:24.133727
• Title: Differentially Private Clustered Federated Learning
• Title（参考訳）: 個人差分クラスタ型フェデレーションラーニング
• Authors: Saber Malekmohammadi, Afaf Taik, Golnoosh Farnadi,
• Abstract要約: フェデレートラーニング(FL)は、厳格なデータプライバシ保証を提供するために、しばしば差分プライバシ(DP)を取り入れる。 以前の研究は、クラスタリングクライアント(クラスタ化FL)を介してバニラFL設定における高構造データ不均一性に対処しようとした。 システム内のDPノイズに対して頑健で,基盤となるクライアントのクラスタを正しく識別する,差分プライベートクラスタリングFLのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.768272342753616
• License:
• Abstract: Federated learning (FL), which is a decentralized machine learning (ML) approach, often incorporates differential privacy (DP) to provide rigorous data privacy guarantees. Previous works attempted to address high structured data heterogeneity in vanilla FL settings through clustering clients (a.k.a clustered FL), but these methods remain sensitive and prone to errors, further exacerbated by the DP noise. This vulnerability makes the previous methods inappropriate for differentially private FL (DPFL) settings with structured data heterogeneity. To address this gap, we propose an algorithm for differentially private clustered FL, which is robust to the DP noise in the system and identifies the underlying clients' clusters correctly. To this end, we propose to cluster clients based on both their model updates and training loss values. Furthermore, for clustering clients' model updates at the end of the first round, our proposed approach addresses the server's uncertainties by employing large batch sizes as well as Gaussian Mixture Models (GMM) to reduce the impact of DP and stochastic noise and avoid potential clustering errors. This idea is efficient especially in privacy-sensitive scenarios with more DP noise. We provide theoretical analysis to justify our approach and evaluate it across diverse data distributions and privacy budgets. Our experimental results show its effectiveness in addressing large structured data heterogeneity in DPFL.
• Abstract（参考訳）: 分散機械学習(ML)アプローチであるフェデレートラーニング(FL)は、厳格なデータプライバシ保証を提供するために、しばしば差分プライバシ(DP)を取り入れている。 以前の研究は、クラスタリングクライアント(つまりクラスタ化FL)を通して、バニラFL設定の高構造データ不均一性に対処しようとしたが、これらの手法は機密性を持ち、誤りを生じやすくし、さらにDPノイズによって悪化した。 この脆弱性により、従来の手法は構造化データの不均一性を持つ差分プライベートFL(DPFL)設定には不適当である。 このギャップに対処するために,システム内のDPノイズに頑健で,基盤となるクライアントのクラスタを正しく識別する,差分プライベートクラスタリングFLのアルゴリズムを提案する。 この目的のために、モデル更新と損失値のトレーニングの両方に基づいて、クライアントをクラスタ化することを提案する。 さらに,第1ラウンド終了時のクラスタリングクライアントモデル更新では,大規模バッチサイズとガウス混合モデル(GMM)を用いて,DPと確率ノイズの影響を低減し,クラスタリングエラーの可能性を回避し,サーバの不確実性に対処する。 このアイデアは特にDPノイズの多いプライバシーに敏感なシナリオでは効果的です。 我々は、我々のアプローチを正当化し、様々なデータ配信とプライバシー予算にまたがって評価するための理論的分析を提供する。 実験の結果,DPFLにおける大規模構造データの不均一性に対処する上での有効性が示された。

関連論文リスト

• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Balancing Privacy Protection and Interpretability in Federated Learning [8.759803233734624]
  フェデレートラーニング(FL)は、ローカルクライアントから中央サーバにモデルパラメータを共有することで、グローバルモデルを分散的にトレーニングすることを目的としている。 近年の研究では、FLは情報漏洩に悩まされており、敵はローカルクライアントから共有パラメータを解析してトレーニングデータを回復しようとする。 本稿では,FLにおけるクライアントモデルの勾配に雑音を選択的に追加する,単純かつ効果的な適応型微分プライバシー(ADP)機構を提案する。
  論文  参考訳（メタデータ） (2023-02-16T02:58:22Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。