論文の概要: Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising

• arxiv url: http://arxiv.org/abs/2007.11524v1
• Date: Wed, 22 Jul 2020 16:33:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 22:20:16.366521
• Title: Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising
• Title（参考訳）: グラディエントエンコーディングとDenoisingによる差分プライバシーによるディープラーニングの改善
• Authors: Milad Nasr, Reza Shokri and Amir houmansadr
• Abstract要約: 本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 36.935465903971014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models leak significant amounts of information about their training datasets. Previous work has investigated training models with differential privacy (DP) guarantees through adding DP noise to the gradients. However, such solutions (specifically, DPSGD), result in large degradations in the accuracy of the trained models. In this paper, we aim at training deep learning models with DP guarantees while preserving model accuracy much better than previous works. Our key technique is to encode gradients to map them to a smaller vector space, therefore enabling us to obtain DP guarantees for different noise distributions. This allows us to investigate and choose noise distributions that best preserve model accuracy for a target privacy budget. We also take advantage of the post-processing property of differential privacy by introducing the idea of denoising, which further improves the utility of the trained models without degrading their DP guarantees. We show that our mechanism outperforms the state-of-the-art DPSGD; for instance, for the same model accuracy of $96.1\%$ on MNIST, our technique results in a privacy bound of $\epsilon=3.2$ compared to $\epsilon=6$ of DPSGD, which is a significant improvement.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニングデータセットに関する大量の情報をリークする。 従来の研究は、勾配にDPノイズを加えることで、差分プライバシー(DP)保証付きトレーニングモデルを調査してきた。 しかし、そのような解(特にDPSGD)は、訓練されたモデルの精度を大幅に低下させる。 本稿では,従来よりも精度を保ちつつ,dp保証によるディープラーニングモデルのトレーニングを目標とする。 我々の鍵となる手法は、勾配を符号化してより小さなベクトル空間にマッピングすることで、異なる雑音分布に対するDP保証を得ることである。 これにより、ターゲットのプライバシー予算のモデル精度を最もよく保持するノイズ分布を調査し、選択することができる。 また,DPの保証を損なうことなく,学習モデルの実用性をさらに向上させることにより,差分プライバシのポストプロセッシング特性を生かした。 例えば、mnist で 96.1\%$ のモデル精度で、我々の技術は $\epsilon=3.2$ のプライバシバウンドと$\epsilon=6$ の dpsgd と比較して非常に改善されている。

関連論文リスト

• GReDP: A More Robust Approach for Differential Private Training with Gradient-Preserving Noise Reduction [19.683286866372832]
  我々は、GReDPと呼ばれる微分プライバシートレーニングに対して、より堅牢なアプローチを提案する。 周波数領域におけるモデル勾配を計算し、ノイズレベルを低減するための新しいアプローチを採用する。 これまでの研究とは異なり、我々のGReDPはDPSGDに比べてノイズスケールの半分しか必要としない。
  論文  参考訳（メタデータ） (2024-09-18T03:01:27Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
  差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。 実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
  論文  参考訳（メタデータ） (2024-08-24T04:27:07Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing [0.0]
  DPlis--Differentially Private Learning wIth Smoothingを提案します。 DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-02T06:33:14Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。