論文の概要: Unlocking High-Accuracy Differentially Private Image Classification
through Scale
- arxiv url: http://arxiv.org/abs/2204.13650v1
- Date: Thu, 28 Apr 2022 17:10:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 13:20:39.305802
- Title: Unlocking High-Accuracy Differentially Private Image Classification
through Scale
- Title(参考訳): スケールによる高精度微分プライベート画像分類のアンロック
- Authors: Soham De, Leonard Berrada, Jamie Hayes, Samuel L. Smith, Borja Balle
- Abstract要約: 差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個々のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシー保証を提供する。
従来の研究では、DP-SGDが標準画像分類ベンチマークの性能を著しく低下させることが多かった。
オーバーパラメータ化モデル上でのDP-SGDは、以前考えられていたよりもはるかに優れた性能を示す。
- 参考スコア(独自算出の注目度): 45.93988209606857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential Privacy (DP) provides a formal privacy guarantee preventing
adversaries with access to a machine learning model from extracting information
about individual training points. Differentially Private Stochastic Gradient
Descent (DP-SGD), the most popular DP training method, realizes this protection
by injecting noise during training. However previous works have found that
DP-SGD often leads to a significant degradation in performance on standard
image classification benchmarks. Furthermore, some authors have postulated that
DP-SGD inherently performs poorly on large models, since the norm of the noise
required to preserve privacy is proportional to the model dimension. In
contrast, we demonstrate that DP-SGD on over-parameterized models can perform
significantly better than previously thought. Combining careful hyper-parameter
tuning with simple techniques to ensure signal propagation and improve the
convergence rate, we obtain a new SOTA on CIFAR-10 of 81.4% under (8,
10^{-5})-DP using a 40-layer Wide-ResNet, improving over the previous SOTA of
71.7%. When fine-tuning a pre-trained 200-layer Normalizer-Free ResNet, we
achieve a remarkable 77.1% top-1 accuracy on ImageNet under (1, 8*10^{-7})-DP,
and achieve 81.1% under (8, 8*10^{-7})-DP. This markedly exceeds the previous
SOTA of 47.9% under a larger privacy budget of (10, 10^{-6})-DP. We believe our
results are a significant step towards closing the accuracy gap between private
and non-private image classification.
- Abstract(参考訳): 差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個々のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシーを保証する。
最も一般的なDP訓練法であるDP-SGDは,訓練中にノイズを注入することにより,この保護を実現する。
しかし、以前の研究ではdp-sgdは標準画像分類ベンチマークの性能を著しく低下させることが多い。
さらに、DP-SGDは、プライバシーを守るのに必要なノイズのノルムがモデル次元に比例するため、大きなモデルでは本質的には不十分であるとする著者もいる。
対照的に, 過パラメータモデルにおけるdp-sgdの性能は, 従来考えられていたよりも有意に向上することを示す。
信号伝搬の確保と収束率の向上を目的として,40層ワイドResNetを用いてCIFAR-10の81.4%以下 (8, 10^{-5})-DPのSOTAを新たに取得し, 従来のSOTAよりも71.7%向上した。
予めトレーニングした200層正規化器フリーのresnetを微調整すると、imagenet (1, 8*10^{-7})-dpで77.1%のtop-1精度を達成し、8, 8*10^{-7})-dpで81.1%を達成した。
これは、(10, 10^{-6})-DPのより大きなプライバシー予算の下で、以前のSOTAの47.9%を超えている。
我々の結果は、プライベート画像分類と非プライベート画像分類の精度ギャップを埋めるための重要な一歩だと考えています。
関連論文リスト
- Pre-training Differentially Private Models with Limited Public Data [58.945400707033016]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。
DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。
公開データの10%しか利用しない新しいDP継続事前学習戦略を提案する。
論文 参考訳(メタデータ) (2024-02-28T23:26:27Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Differentially Private Image Classification by Learning Priors from
Random Processes [48.0766422536737]
プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。
近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。
本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
論文 参考訳(メタデータ) (2023-06-08T04:14:32Z) - SA-DPSGD: Differentially Private Stochastic Gradient Descent based on
Simulated Annealing [25.25065807901922]
差分勾配降下法は画像認識における差分プライバシーを持つ最も一般的な訓練法である。
既存のDPSGDスキームは性能を著しく低下させ、差分プライバシーの適用を妨げている。
本稿では, 更新品質とイテレーション数に依存する確率で, 候補更新を受理するSA-DPSGD(Simulated annealing-based differentially private gradient descent scheme)を提案する。
論文 参考訳(メタデータ) (2022-11-14T09:20:48Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。