論文の概要: Unlocking High-Accuracy Differentially Private Image Classification through Scale

• arxiv url: http://arxiv.org/abs/2204.13650v1
• Date: Thu, 28 Apr 2022 17:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 13:20:39.305802
• Title: Unlocking High-Accuracy Differentially Private Image Classification through Scale
• Title（参考訳）: スケールによる高精度微分プライベート画像分類のアンロック
• Authors: Soham De, Leonard Berrada, Jamie Hayes, Samuel L. Smith, Borja Balle
• Abstract要約: 差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個々のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシー保証を提供する。 従来の研究では、DP-SGDが標準画像分類ベンチマークの性能を著しく低下させることが多かった。 オーバーパラメータ化モデル上でのDP-SGDは、以前考えられていたよりもはるかに優れた性能を示す。
• 参考スコア（独自算出の注目度）: 45.93988209606857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differential Privacy (DP) provides a formal privacy guarantee preventing adversaries with access to a machine learning model from extracting information about individual training points. Differentially Private Stochastic Gradient Descent (DP-SGD), the most popular DP training method, realizes this protection by injecting noise during training. However previous works have found that DP-SGD often leads to a significant degradation in performance on standard image classification benchmarks. Furthermore, some authors have postulated that DP-SGD inherently performs poorly on large models, since the norm of the noise required to preserve privacy is proportional to the model dimension. In contrast, we demonstrate that DP-SGD on over-parameterized models can perform significantly better than previously thought. Combining careful hyper-parameter tuning with simple techniques to ensure signal propagation and improve the convergence rate, we obtain a new SOTA on CIFAR-10 of 81.4% under (8, 10^{-5})-DP using a 40-layer Wide-ResNet, improving over the previous SOTA of 71.7%. When fine-tuning a pre-trained 200-layer Normalizer-Free ResNet, we achieve a remarkable 77.1% top-1 accuracy on ImageNet under (1, 8*10^{-7})-DP, and achieve 81.1% under (8, 8*10^{-7})-DP. This markedly exceeds the previous SOTA of 47.9% under a larger privacy budget of (10, 10^{-6})-DP. We believe our results are a significant step towards closing the accuracy gap between private and non-private image classification.
• Abstract（参考訳）: 差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個々のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシーを保証する。 最も一般的なDP訓練法であるDP-SGDは,訓練中にノイズを注入することにより,この保護を実現する。 しかし、以前の研究ではdp-sgdは標準画像分類ベンチマークの性能を著しく低下させることが多い。 さらに、DP-SGDは、プライバシーを守るのに必要なノイズのノルムがモデル次元に比例するため、大きなモデルでは本質的には不十分であるとする著者もいる。 対照的に, 過パラメータモデルにおけるdp-sgdの性能は, 従来考えられていたよりも有意に向上することを示す。 信号伝搬の確保と収束率の向上を目的として,40層ワイドResNetを用いてCIFAR-10の81.4%以下 (8, 10^{-5})-DPのSOTAを新たに取得し, 従来のSOTAよりも71.7%向上した。 予めトレーニングした200層正規化器フリーのresnetを微調整すると、imagenet (1, 8*10^{-7})-dpで77.1%のtop-1精度を達成し、8, 8*10^{-7})-dpで81.1%を達成した。 これは、(10, 10^{-6})-DPのより大きなプライバシー予算の下で、以前のSOTAの47.9%を超えている。 我々の結果は、プライベート画像分類と非プライベート画像分類の精度ギャップを埋めるための重要な一歩だと考えています。

関連論文リスト

• Training Large ASR Encoders with Differential Privacy [18.624449993983106]
  大規模音声モデルのための自己教師付き学習(SSL)手法は、ASRにおいて非常に効果的であることが証明されている。 大規模な事前学習モデルの公開展開に関心があるため、意図しない記憶と、トレーニングデータからの機密データポイントの漏洩に対する懸念が高まっている。 本稿では,SOTA Conformer ベースのエンコーダに差分プライベート(DP)事前学習を適用し,微調整データを公開していると仮定した下流 ASR タスクにおいて,その性能について検討する。
  論文  参考訳（メタデータ） (2024-09-21T00:01:49Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Differentially Private Image Classification by Learning Priors from Random Processes [48.0766422536737]
  プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。 近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。 本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
  論文  参考訳（メタデータ） (2023-06-08T04:14:32Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。