論文の概要: Dynamic Differential-Privacy Preserving SGD
- arxiv url: http://arxiv.org/abs/2111.00173v1
- Date: Sat, 30 Oct 2021 04:45:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-04 10:43:05.116978
- Title: Dynamic Differential-Privacy Preserving SGD
- Title(参考訳): 動的微分プライバシー保存sgd
- Authors: Jian Du, Song Li, Moran Feng, Siheng Chen
- Abstract要約: Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。
同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。
更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
- 参考スコア(独自算出の注目度): 19.273542515320372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentially-Private Stochastic Gradient Descent (DP-SGD) prevents
training-data privacy breaches by adding noise to the clipped gradient during
SGD training to satisfy the differential privacy (DP) definition. On the other
hand, the same clipping operation and additive noise across training steps
results in unstable updates and even a ramp-up period, which significantly
reduces the model's accuracy. In this paper, we extend the Gaussian DP central
limit theorem to calibrate the clipping value and the noise power for each
individual step separately. We, therefore, are able to propose the dynamic
DP-SGD, which has a lower privacy cost than the DP-SGD during updates until
they achieve the same target privacy budget at a target number of updates.
Dynamic DP-SGD, in particular, improves model accuracy without sacrificing
privacy by gradually lowering both clipping value and noise power while
adhering to a total privacy budget constraint. Extensive experiments on a
variety of deep learning tasks, including image classification, natural
language processing, and federated learning, show that the proposed dynamic
DP-SGD algorithm stabilizes updates and, as a result, significantly improves
model accuracy in the strong privacy protection region when compared to DP-SGD.
- Abstract(参考訳): Differentially-Private Stochastic Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えて、差分プライバシー(DP)定義を満たすことによって、トレーニングデータのプライバシー侵害を防止する。
一方で、同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新やランプアップ期間が発生し、モデルの精度が大幅に低下する。
本稿では,各ステップ毎にクリッピング値とノイズパワーを個別に調整するために,ガウスのDP中心極限定理を拡張した。
したがって,対象とする更新数で同じプライバシ予算を達成するまで,更新時のプライバシコストがdp-sgdよりも低い動的dp-sgdを提案することができる。
特に、動的DP-SGDは、全体的なプライバシー予算の制約に固執しながら、クリッピング値とノイズパワーの両方を徐々に下げることで、プライバシーを犠牲にすることなくモデル精度を向上させる。
画像分類,自然言語処理,フェデレーション学習など,さまざまなディープラーニングタスクに関する広範な実験により,提案した動的DP-SGDアルゴリズムが更新を安定させ,結果として,DP-SGDと比較して強力なプライバシ保護領域におけるモデル精度を著しく向上させることを示した。
関連論文リスト
- Auto DP-SGD: Dual Improvements of Privacy and Accuracy via Automatic
Clipping Threshold and Noise Multiplier Estimation [1.7942265700058988]
DP-SGDは、ディープラーニングアプリケーションにおける個人識別情報を保護するための一般的な方法として登場した。
本稿では,各トレーニングサンプルの勾配を勾配情報を失うことなくスケールするAuto DP-SGDを提案する。
我々は,Auto DP-SGDが既存のSOTA DP-SGDメソッドよりも,様々なベンチマークデータセットのプライバシと精度で優れていることを示す。
論文 参考訳(メタデータ) (2023-12-05T00:09:57Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Towards the Flatter Landscape and Better Generalization in Federated
Learning under Client-level Differential Privacy [67.33715954653098]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。
より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
論文 参考訳(メタデータ) (2023-05-01T15:19:09Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with
Importance Sampling [19.59757201902467]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳(メタデータ) (2022-10-18T07:03:14Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳(メタデータ) (2021-12-29T07:32:29Z) - Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。
本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
論文 参考訳(メタデータ) (2021-12-01T21:43:34Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Improving Deep Learning with Differential Privacy using Gradient
Encoding and Denoising [36.935465903971014]
本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。
我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。
我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-07-22T16:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。