論文の概要: Improving Deep Learning with Differential Privacy using Gradient
Encoding and Denoising
- arxiv url: http://arxiv.org/abs/2007.11524v1
- Date: Wed, 22 Jul 2020 16:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 22:20:16.366521
- Title: Improving Deep Learning with Differential Privacy using Gradient
Encoding and Denoising
- Title(参考訳): グラディエントエンコーディングとDenoisingによる差分プライバシーによるディープラーニングの改善
- Authors: Milad Nasr, Reza Shokri and Amir houmansadr
- Abstract要約: 本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。
我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。
我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 36.935465903971014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models leak significant amounts of information about their
training datasets. Previous work has investigated training models with
differential privacy (DP) guarantees through adding DP noise to the gradients.
However, such solutions (specifically, DPSGD), result in large degradations in
the accuracy of the trained models. In this paper, we aim at training deep
learning models with DP guarantees while preserving model accuracy much better
than previous works. Our key technique is to encode gradients to map them to a
smaller vector space, therefore enabling us to obtain DP guarantees for
different noise distributions. This allows us to investigate and choose noise
distributions that best preserve model accuracy for a target privacy budget. We
also take advantage of the post-processing property of differential privacy by
introducing the idea of denoising, which further improves the utility of the
trained models without degrading their DP guarantees. We show that our
mechanism outperforms the state-of-the-art DPSGD; for instance, for the same
model accuracy of $96.1\%$ on MNIST, our technique results in a privacy bound
of $\epsilon=3.2$ compared to $\epsilon=6$ of DPSGD, which is a significant
improvement.
- Abstract(参考訳): ディープラーニングモデルは、トレーニングデータセットに関する大量の情報をリークする。
従来の研究は、勾配にDPノイズを加えることで、差分プライバシー(DP)保証付きトレーニングモデルを調査してきた。
しかし、そのような解(特にDPSGD)は、訓練されたモデルの精度を大幅に低下させる。
本稿では,従来よりも精度を保ちつつ,dp保証によるディープラーニングモデルのトレーニングを目標とする。
我々の鍵となる手法は、勾配を符号化してより小さなベクトル空間にマッピングすることで、異なる雑音分布に対するDP保証を得ることである。
これにより、ターゲットのプライバシー予算のモデル精度を最もよく保持するノイズ分布を調査し、選択することができる。
また,DPの保証を損なうことなく,学習モデルの実用性をさらに向上させることにより,差分プライバシのポストプロセッシング特性を生かした。
例えば、mnist で 96.1\%$ のモデル精度で、我々の技術は $\epsilon=3.2$ のプライバシバウンドと$\epsilon=6$ の dpsgd と比較して非常に改善されている。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。
同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。
更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
論文 参考訳(メタデータ) (2021-10-30T04:45:11Z) - DPlis: Boosting Utility of Differentially Private Deep Learning via
Randomized Smoothing [0.0]
DPlis--Differentially Private Learning wIth Smoothingを提案します。
DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
論文 参考訳(メタデータ) (2021-03-02T06:33:14Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。