論文の概要: NeuralDP Differentially private neural networks by design
- arxiv url: http://arxiv.org/abs/2107.14582v2
- Date: Mon, 2 Aug 2021 13:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 11:01:41.834376
- Title: NeuralDP Differentially private neural networks by design
- Title(参考訳): ニューラルDP差分プライベートニューラルネットワークの設計
- Authors: Moritz Knolle, Dmitrii Usynin, Alexander Ziller, Marcus R. Makowski,
Daniel Rueckert, Georgios Kaissis
- Abstract要約: ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。
本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
- 参考スコア(独自算出の注目度): 61.675604648670095
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The application of differential privacy to the training of deep neural
networks holds the promise of allowing large-scale (decentralized) use of
sensitive data while providing rigorous privacy guarantees to the individual.
The predominant approach to differentially private training of neural networks
is DP-SGD, which relies on norm-based gradient clipping as a method for
bounding sensitivity, followed by the addition of appropriately calibrated
Gaussian noise. In this work we propose NeuralDP, a technique for privatising
activations of some layer within a neural network, which by the post-processing
properties of differential privacy yields a differentially private network. We
experimentally demonstrate on two datasets (MNIST and Pediatric Pneumonia
Dataset (PPD)) that our method offers substantially improved privacy-utility
trade-offs compared to DP-SGD.
- Abstract(参考訳): ディープニューラルネットワークのトレーニングに対する差分プライバシーの適用は、個人に対して厳格なプライバシ保証を提供しながら、大規模な(分散化された)機密データの使用を可能にするという約束を果たす。
ニューラルネットワークの差分プライベートトレーニングの主なアプローチはdp-sgdであり、境界感度の方法としてノルムベースの勾配クリッピングに依存する。
本稿では,差動プライバシの処理後特性によって差動プライベートネットワークが形成されるニューラルネットワーク内のレイヤの活性化を民営化する手法であるneuraldpを提案する。
そこで我々は,本手法がdp-sgdと比較してプライバシー利用上のトレードオフを大幅に改善することを示す2つのデータセット(mnistおよびppd)を実験的に検証した。
関連論文リスト
- Differentially Private Neural Network Training under Hidden State Assumption [2.3371504588528635]
隠れ状態前提下でのプライバシー保証を保証可能なニューラルネットワークに対する差分プライベートニューラルネットワーク座標降下(DP-SBCD)と呼ばれる新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-07-11T07:14:40Z) - Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳(メタデータ) (2024-02-08T10:05:11Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Differential Privacy Meets Neural Network Pruning [10.77469946354744]
ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。
実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。
勾配に依存しない2種類の人気プルーニングについて研究し、さらなるプライバシー損失を生じさせないことにより、ランダム選択が等級に基づく選択と同等に実行されることを示す。
論文 参考訳(メタデータ) (2023-03-08T14:27:35Z) - Differentially Private Generative Adversarial Networks with Model
Inversion [6.651002556438805]
GAN(Generative Adversarial Network)のトレーニングにおいて機密データを保護するためには,差分プライベート(DP)勾配降下法を用いる。
本稿では,パブリックジェネレータを介して,まずプライベートデータを潜在空間にマッピングするDPMI法を提案する。
Inception Score, Fr'echet Inception Distance, and accuracy under the same privacy guarantee。
論文 参考訳(メタデータ) (2022-01-10T02:26:26Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳(メタデータ) (2021-07-09T08:14:45Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-12-14T18:59:24Z) - Differentially Private Deep Learning with Direct Feedback Alignment [15.410557873153833]
直接フィードバックアライメント(DFA)を用いたディープニューラルネットワークのトレーニングのための最初の微分プライベート手法を提案する。
DFAは、様々なアーキテクチャにおけるバックプロップベースの差分プライベートトレーニングと比較して、精度(しばしば10-20%)が大幅に向上する。
論文 参考訳(メタデータ) (2020-10-08T00:25:22Z) - On the effect of normalization layers on Differentially Private training
of deep Neural networks [19.26653302753129]
DPSGDの性能に及ぼす正規化層の影響について検討した。
本稿では,DPSGDとバッチ正規化を統合した新たな手法を提案する。
論文 参考訳(メタデータ) (2020-06-19T01:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。