論文の概要: Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search

• arxiv url: http://arxiv.org/abs/2210.02156v1
• Date: Wed, 5 Oct 2022 11:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 15:12:27.076319
• Title: Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search
• Title（参考訳）: 新たなハイパーパラメータ探索を必要とする差分プライバシーによる微調整
• Authors: Yannis Cattan, Christopher A. Choquette-Choo, Nicolas Papernot, Abhradeep Thakurta
• Abstract要約: トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
• 参考スコア（独自算出の注目度）: 38.83524780461911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models need to be trained with privacy-preserving learning algorithms to prevent leakage of possibly sensitive information contained in their training data. However, canonical algorithms like differentially private stochastic gradient descent (DP-SGD) do not benefit from model scale in the same way as non-private learning. This manifests itself in the form of unappealing tradeoffs between privacy and utility (accuracy) when using DP-SGD on complex tasks. To remediate this tension, a paradigm is emerging: fine-tuning with differential privacy from a model pretrained on public (i.e., non-sensitive) training data. In this work, we identify an oversight of existing approaches for differentially private fine tuning. They do not tailor the fine-tuning approach to the specifics of learning with privacy. Our main result is to show how carefully selecting the layers being fine-tuned in the pretrained neural network allows us to establish new state-of-the-art tradeoffs between privacy and accuracy. For instance, we achieve 77.9% accuracy for $(\varepsilon, \delta)=(2, 10^{-5})$ on CIFAR-100 for a model pretrained on ImageNet. Our work calls for additional hyperparameter search to configure the differentially private fine-tuning procedure itself.
• Abstract（参考訳）: モデルは、トレーニングデータに含まれる可能性のある機密情報の漏洩を防止するために、プライバシ保護学習アルゴリズムでトレーニングする必要がある。 しかし、微分的確率勾配降下(dp-sgd)のような正準アルゴリズムは、非プライベート学習と同様にモデルスケールの恩恵を受けない。 これは、複雑なタスクでDP-SGDを使用する場合、プライバシとユーティリティ(正確性)の間のトレードオフを未承認にする形で現れます。 この緊張を和らげるために、公共(非感受性)のトレーニングデータに事前訓練されたモデルから、差分プライバシーによる微調整というパラダイムが出現している。 そこで本研究では,微分プライベート微調整のための既存手法の監視を行う。 それらは、プライバシによる学習の具体性に対して、微調整のアプローチを調整しない。 私たちの主な結果は、事前訓練されたニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間の新たな最先端のトレードオフが確立できることを示しています。 例えば、ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(\varepsilon, \delta)=(2, 10^{-5})$に対して77.9%の精度を達成する。 我々の研究は、差分的にプライベートな微調整手順自体を構成するために、追加のハイパーパラメーター探索を要求する。

関連論文リスト

• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。