Fugu-MT 論文翻訳(概要): Skellam Mixture Mechanism: a Novel Approach to Federated Learning with Differential Privacy

論文の概要: Skellam Mixture Mechanism: a Novel Approach to Federated Learning with Differential Privacy

arxiv url: http://arxiv.org/abs/2212.04371v2
Date: Tue, 2 Jul 2024 18:03:28 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 21:02:45.767220
Title: Skellam Mixture Mechanism: a Novel Approach to Federated Learning with Differential Privacy
Title（参考訳）: Skellam Mixture Mechanism: 差分プライバシによるフェデレーション学習への新しいアプローチ
Authors: Ergute Bao, Yizheng Zhu, Xiaokui Xiao, Yin Yang, Beng Chin Ooi, Benjamin Hong Meng Tan, Khin Mi Mi Aung,
Abstract要約: 本稿では,モデルを共同で訓練する複数の参加者間でセンシティブなデータが分散されるシナリオに焦点を当てる。ディープニューラルネットワークは、基礎となるトレーニングデータを記憶する強力な能力を持っている。この問題の効果的な解決策は、勾配にランダムノイズを注入することで厳密なプライバシー保証を提供する差分プライバシを持つモデルを訓練することである。
参考スコア（独自算出の注目度）: 27.906539122581293
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks have strong capabilities of memorizing the underlying training data, which can be a serious privacy concern. An effective solution to this problem is to train models with differential privacy, which provides rigorous privacy guarantees by injecting random noise to the gradients. This paper focuses on the scenario where sensitive data are distributed among multiple participants, who jointly train a model through federated learning (FL), using both secure multiparty computation (MPC) to ensure the confidentiality of each gradient update, and differential privacy to avoid data leakage in the resulting model. A major challenge in this setting is that common mechanisms for enforcing DP in deep learning, which inject real-valued noise, are fundamentally incompatible with MPC, which exchanges finite-field integers among the participants. Consequently, most existing DP mechanisms require rather high noise levels, leading to poor model utility. Motivated by this, we propose Skellam mixture mechanism (SMM), an approach to enforce DP on models built via FL. Compared to existing methods, SMM eliminates the assumption that the input gradients must be integer-valued, and, thus, reduces the amount of noise injected to preserve DP. Further, SMM allows tight privacy accounting due to the nice composition and sub-sampling properties of the Skellam distribution, which are key to accurate deep learning with DP. The theoretical analysis of SMM is highly non-trivial, especially considering (i) the complicated math of differentially private deep learning in general and (ii) the fact that the mixture of two Skellam distributions is rather complex, and to our knowledge, has not been studied in the DP literature. Extensive experiments on various practical settings demonstrate that SMM consistently and significantly outperforms existing solutions in terms of the utility of the resulting model.
Abstract（参考訳）: ディープニューラルネットワークは、基礎となるトレーニングデータを記憶する強力な能力を持っている。この問題の効果的な解決策は、勾配にランダムノイズを注入することで厳密なプライバシー保証を提供する差分プライバシを持つモデルを訓練することである。本稿では、複数の参加者間でセンシティブなデータが分散されるシナリオに焦点を当て、フェデレートラーニング(FL)を通じてモデルを共同訓練し、セキュアなマルチパーティ計算(MPC)を用いて各勾配更新の機密性を確保するとともに、結果モデルのデータ漏洩を回避するために差分プライバシを実現する。この設定における大きな課題は、実数値ノイズを注入するディープラーニングにおいてDPを強制する共通のメカニズムが、参加者間で有限体整数を交換するMPCと根本的に相容れないことである。その結果、既存のDPメカニズムの多くはかなり高いノイズレベルを必要としており、モデルの有用性は低い。そこで我々はSkellam Mixing Mechanism (SMM)を提案し,FLを用いたモデルにDPを強制する手法を提案する。既存の手法と比較して、SMMは入力勾配が整数値でなければならないという仮定を排除し、DPを保存するために注入されるノイズの量を減少させる。さらに、SMMは、DPによる正確なディープラーニングの鍵となるSkellamディストリビューションの優れた構成とサブサンプリング特性のために、厳密なプライバシ会計を可能にする。 SMMの理論解析は特に非自明である一差分的な私的深層学習の複雑な数学 (II) 2つのスケラム分布の混合は比較的複雑であり、我々の知る限り、DP文献では研究されていない。様々な実践的設定に関する大規模な実験により、SMMは結果のモデルの有用性の観点から、既存のソリューションを一貫して、そして著しく上回っていることが示される。

関連論文リスト

DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
論文参考訳（メタデータ） (2024-10-21T16:25:14Z)
CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
論文参考訳（メタデータ） (2024-09-20T00:23:44Z)
Mitigating Disparate Impact of Differential Privacy in Federated Learning through Robust Clustering [4.768272342753616]
Federated Learning(FL)は、データをローカライズする分散機械学習(ML)アプローチである。最近の研究は、クラスタリングによるバニラFLの性能公平性に対処しようと試みているが、この手法は依然として敏感であり、エラーを起こしやすい。本稿では,クライアントのクラスタを高度に均一な設定で効果的に識別する新しいクラスタ化DPFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-29T17:03:31Z)
QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution [1.565361244756411]
Federated Learning(FL)は、複数のユーザがグローバル機械学習(ML)モデルを共同でトレーニングできるフレームワークである。このような分散フレームワークの重要な動機の1つは、ユーザにプライバシ保証を提供することである。本稿では,DPを提供するのに必要なランダム性を導入するために,混合幾何分布を用いた新しい量子化法を提案する。
論文参考訳（メタデータ） (2023-12-10T04:44:53Z)
One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文参考訳（メタデータ） (2023-11-27T12:02:42Z)
A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文参考訳（メタデータ） (2023-09-02T11:01:16Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文参考訳（メタデータ） (2022-10-18T07:03:14Z)
FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文参考訳（メタデータ） (2022-05-31T18:33:15Z)
Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
論文参考訳（メタデータ） (2022-02-15T04:05:42Z)
Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。