論文の概要: SA-DPSGD: Differentially Private Stochastic Gradient Descent based on
Simulated Annealing
- arxiv url: http://arxiv.org/abs/2211.07218v1
- Date: Mon, 14 Nov 2022 09:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 16:56:18.637046
- Title: SA-DPSGD: Differentially Private Stochastic Gradient Descent based on
Simulated Annealing
- Title(参考訳): SA-DPSGD:シミュレートアニーリングに基づく個人性確率勾配の差分
- Authors: Jie Fu, Zhili Chen and XinPeng Ling
- Abstract要約: 差分勾配降下法は画像認識における差分プライバシーを持つ最も一般的な訓練法である。
既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。
本稿では, 更新品質とイテレーション数に依存する確率で, 候補更新を受理するSA-DPSGD(Simulated annealing-based differentially private gradient descent scheme)を提案する。
- 参考スコア(独自算出の注目度): 25.25065807901922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy (DP) provides a formal privacy guarantee that prevents
adversaries with access to machine learning models from extracting information
about individual training points. Differentially private stochastic gradient
descent (DPSGD) is the most popular training method with differential privacy
in image recognition. However, existing DPSGD schemes lead to significant
performance degradation, which prevents the application of differential
privacy. In this paper, we propose a simulated annealing-based differentially
private stochastic gradient descent scheme (SA-DPSGD) which accepts a candidate
update with a probability that depends both on the update quality and on the
number of iterations. Through this random update screening, we make the
differentially private gradient descent proceed in the right direction in each
iteration, and result in a more accurate model finally. In our experiments,
under the same hyperparameters, our scheme achieves test accuracies 98.35%,
87.41% and 60.92% on datasets MNIST, FashionMNIST and CIFAR10, respectively,
compared to the state-of-the-art result of 98.12%, 86.33% and 59.34%. Under the
freely adjusted hyperparameters, our scheme achieves even higher accuracies,
98.89%, 88.50% and 64.17%. We believe that our method has a great contribution
for closing the accuracy gap between private and non-private image
classification.
- Abstract(参考訳): 差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個別のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシー保証を提供する。
differentially private stochasticgradient descent (dpsgd) は、画像認識において差分プライバシーを持つ最も一般的なトレーニング手法である。
しかし、既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。
本稿では,更新品質とイテレーション数の両方に依存する確率で候補更新を受理するSA-DPSGD(simulated annealing-based differentially private stochastic descent scheme)を提案する。
このランダムな更新スクリーニングにより、各イテレーションにおいて微分プライベートな勾配降下を正しい方向に進行させ、最終的により正確なモデルが得られる。
実験では, 試験精度98.35%, 87.41%, 60.92%をMNIST, FashionMNIST, CIFAR10で測定し, 現状の98.12%, 86.33%, 59.34%と比較した。
自由調整ハイパーパラメータでは、98.89%、88.50%、64.17%という高い精度を実現している。
本手法は,プライベート画像分類と非プライベート画像分類の精度ギャップを埋める上で大きな寄与があると考えられる。
関連論文リスト
- Weights Shuffling for Improving DPSGD in Transformer-based Models [7.356743536182233]
本研究は,DPSGD(differially-Private Gradient Descent)における革新的なシャッフル機構を導入し,非シャッフルケースと同じプライバシ保証で大規模モデルの実用性を向上する。
順列化は理論上はDPSGDのプライバシー保証を改善するが、シャッフルモデル上での正確なプライバシー損失の追跡は特に困難である。
論文 参考訳(メタデータ) (2024-07-22T06:41:59Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Learning Differentially Private Probabilistic Models for
Privacy-Preserving Image Generation [67.47979276739144]
差分プライバシー保証付き高解像度画像を生成するために,差分プライベート確率モデルの学習を提案する。
我々のアプローチは、目立った視覚的品質とデータユーティリティで256x256までの画像を生成することができる。
論文 参考訳(メタデータ) (2023-05-18T02:51:17Z) - DPAF: Image Synthesis via Differentially Private Aggregation in Forward
Phase [14.76128148793876]
DPAFは高次元画像合成のための効果的な微分プライベート生成モデルである。
クリッピング勾配における情報損失を低減し、アグリゲーションに対する感度を低下させる。
また、識別器の異なる部分を非対称に訓練する新しいトレーニング戦略を提案することにより、適切なバッチサイズを設定する問題にも対処する。
論文 参考訳(メタデータ) (2023-04-20T16:32:02Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳(メタデータ) (2022-10-05T11:32:49Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-10-14T15:02:20Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳(メタデータ) (2021-02-25T04:29:58Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via
$f$-Divergences [14.008231249756678]
我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。
最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
論文 参考訳(メタデータ) (2020-01-16T18:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。