論文の概要: On the effect of normalization layers on Differentially Private training
of deep Neural networks
- arxiv url: http://arxiv.org/abs/2006.10919v2
- Date: Tue, 7 Dec 2021 22:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:14:14.437686
- Title: On the effect of normalization layers on Differentially Private training
of deep Neural networks
- Title（参考訳）: ディープニューラルネットワークの差分プライベートトレーニングにおける正規化層の影響について
- Authors: Ali Davody, David Ifeoluwa Adelani, Thomas Kleinbauer and Dietrich
Klakow
- Abstract要約: DPSGDの性能に及ぼす正規化層の影響について検討した。
本稿では,DPSGDとバッチ正規化を統合した新たな手法を提案する。
- 参考スコア（独自算出の注目度）: 19.26653302753129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private stochastic gradient descent (DPSGD) is a variation of
stochastic gradient descent based on the Differential Privacy (DP) paradigm,
which can mitigate privacy threats that arise from the presence of sensitive
information in training data. However, one major drawback of training deep
neural networks with DPSGD is a reduction in the models accuracy. In this
paper, we study the effect of normalization layers on the performance of DPSGD.
We demonstrate that normalization layers significantly impact the utility of
deep neural networks with noisy parameters and should be considered essential
ingredients of training with DPSGD. In particular, we propose a novel method
for integrating batch normalization with DPSGD without incurring an additional
privacy loss. With our approach, we are able to train deeper networks and
achieve a better utility-privacy trade-off.
- Abstract（参考訳）: Differentially private stochastic gradient descent (DPSGD)は、差分プライバシー(DP)パラダイムに基づく確率勾配勾配の変動であり、トレーニングデータに機密情報が存在することから生じるプライバシーの脅威を軽減することができる。
しかし、DPSGDを用いたディープニューラルネットワークのトレーニングの大きな欠点は、モデルの精度の低下である。
本稿では, DPSGDの性能に及ぼす正規化層の影響について検討する。
正規化層は雑音パラメータを持つ深層ニューラルネットワークの有用性に大きく影響し, dpsgdのトレーニングに必須な要素と考えられるべきである。
特に,追加のプライバシ損失を伴わずにdpsgdとバッチ正規化を統合する新しい手法を提案する。
私たちのアプローチでは、より深いネットワークをトレーニングし、より良いユーティリティプライバシートレードオフを達成できます。
関連論文リスト
- Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。
このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。
DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
論文 参考訳（メタデータ） (2024-11-05T12:47:30Z) - Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。
差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。
より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
論文 参考訳（メタデータ） (2024-09-25T17:59:32Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Differential Privacy Meets Neural Network Pruning [10.77469946354744]
ニューラルネットワークのプルーニングと差分プライバシーの相互作用をパラメータ更新の2つのモードを用いて検討する。
実験により,パラメータ空間の減少が個人訓練の差分を改善することを示す。
勾配に依存しない2種類の人気プルーニングについて研究し、さらなるプライバシー損失を生じさせないことにより、ランダム選択が等級に基づく選択と同等に実行されることを示す。
論文 参考訳（メタデータ） (2023-03-08T14:27:35Z) - Differentially Private Generative Adversarial Networks with Model
Inversion [6.651002556438805]
GAN(Generative Adversarial Network)のトレーニングにおいて機密データを保護するためには,差分プライベート(DP)勾配降下法を用いる。
本稿では,パブリックジェネレータを介して,まずプライベートデータを潜在空間にマッピングするDPMI法を提案する。
Inception Score, Fr'echet Inception Distance, and accuracy under the same privacy guarantee。
論文 参考訳（メタデータ） (2022-01-10T02:26:26Z) - NeuralDP Differentially private neural networks by design [61.675604648670095]
ニューラルネットワーク内のいくつかの層の活性化を民営化する手法であるNeuralDPを提案する。
本研究では,DP-SGDと比較して,プライバシーとユーティリティのトレードオフを大幅に改善した2つのデータセットを実験的に検証した。
論文 参考訳（メタデータ） (2021-07-30T12:40:19Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳（メタデータ） (2021-07-09T08:14:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。