論文の概要: Differentially Private Image Classification by Learning Priors from
Random Processes
- arxiv url: http://arxiv.org/abs/2306.06076v2
- Date: Tue, 31 Oct 2023 17:49:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 23:25:10.098702
- Title: Differentially Private Image Classification by Learning Priors from
Random Processes
- Title（参考訳）: ランダムプロセスからの事前学習による微分プライベート画像分類
- Authors: Xinyu Tang, Ashwinee Panda, Vikash Sehwag, Prateek Mittal
- Abstract要約: プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。
近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。
本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
- 参考スコア（独自算出の注目度）: 48.0766422536737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In privacy-preserving machine learning, differentially private stochastic
gradient descent (DP-SGD) performs worse than SGD due to per-sample gradient
clipping and noise addition. A recent focus in private learning research is
improving the performance of DP-SGD on private data by incorporating priors
that are learned on real-world public data. In this work, we explore how we can
improve the privacy-utility tradeoff of DP-SGD by learning priors from images
generated by random processes and transferring these priors to private data. We
propose DP-RandP, a three-phase approach. We attain new state-of-the-art
accuracy when training from scratch on CIFAR10, CIFAR100, MedMNIST and ImageNet
for a range of privacy budgets $\varepsilon \in [1, 8]$. In particular, we
improve the previous best reported accuracy on CIFAR10 from $60.6 \%$ to $72.3
\%$ for $\varepsilon=1$.
- Abstract（参考訳）: プライバシ保存機械学習において、差分プライベート確率勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加により、SGDよりも悪化する。
近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに取り入れることで, 個人データにおけるDP-SGDの性能向上に寄与している。
本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
3相アプローチのDP-RandPを提案する。
CIFAR10、CIFAR100、MedMNIST、ImageNetでスクラッチからトレーニングを行うと、さまざまなプライバシー予算に対して、新たな最先端の精度が得られます。
特に、CIFAR10の過去最高の報告精度を、$60.6 \%$から$72.3 \%$ for $\varepsilon=1$に改善する。
関連論文リスト
- Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳（メタデータ） (2022-10-07T08:44:35Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳（メタデータ） (2022-10-05T11:32:49Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳（メタデータ） (2022-06-06T13:49:37Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。