論文の概要: Differentially Private Deep Learning with ModelMix
- arxiv url: http://arxiv.org/abs/2210.03843v1
- Date: Fri, 7 Oct 2022 22:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 19:26:34.491911
- Title: Differentially Private Deep Learning with ModelMix
- Title（参考訳）: ModelMixを用いた微分プライベートディープラーニング
- Authors: Hanshen Xiao, Jun Wan, and Srinivas Devadas
- Abstract要約: そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。
トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。
本研究は,勾配クリッピングの効果に関する公式な研究である。
- 参考スコア（独自算出の注目度）: 14.445182641912014
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training large neural networks with meaningful/usable differential privacy
security guarantees is a demanding challenge. In this paper, we tackle this
problem by revisiting the two key operations in Differentially Private
Stochastic Gradient Descent (DP-SGD): 1) iterative perturbation and 2) gradient
clipping. We propose a generic optimization framework, called {\em ModelMix},
which performs random aggregation of intermediate model states. It strengthens
the composite privacy analysis utilizing the entropy of the training trajectory
and improves the $(\epsilon, \delta)$ DP security parameters by an order of
magnitude.
We provide rigorous analyses for both the utility guarantees and privacy
amplification of ModelMix. In particular, we present a formal study on the
effect of gradient clipping in DP-SGD, which provides theoretical instruction
on how hyper-parameters should be selected. We also introduce a refined
gradient clipping method, which can further sharpen the privacy loss in private
learning when combined with ModelMix.
Thorough experiments with significant privacy/utility improvement are
presented to support our theory. We train a Resnet-20 network on CIFAR10 with
$70.4\%$ accuracy via ModelMix given $(\epsilon=8, \delta=10^{-5})$ DP-budget,
compared to the same performance but with $(\epsilon=145.8,\delta=10^{-5})$
using regular DP-SGD; assisted with additional public low-dimensional gradient
embedding, one can further improve the accuracy to $79.1\%$ with
$(\epsilon=6.1, \delta=10^{-5})$ DP-budget, compared to the same performance
but with $(\epsilon=111.2, \delta=10^{-5})$ without ModelMix.
- Abstract（参考訳）: 有意義で使用可能な差分プライバシーセキュリティを備えた大規模ニューラルネットワークのトレーニングは、困難な課題である。
本稿では,DP-SGDにおける2つの重要な操作を再考することにより,この問題に対処する。
1)反復摂動・摂動
2)傾斜クリッピング。
本稿では,中間モデル状態のランダムアグリゲーションを行う汎用最適化フレームワーク {\em ModelMix} を提案する。
トレーニング軌道のエントロピーを利用した複合プライバシ解析を強化し、$(\epsilon, \delta)$ dpセキュリティパラメータを桁違いに改善する。
我々は,ModelMixの実用性保証とプライバシ増幅の両方について厳密な分析を行う。
特に, DP-SGDにおける勾配クリッピングの効果に関する公式な研究を行い, ハイパーパラメータの選択方法に関する理論的指導を行う。
また,ModelMixと組み合わせることで,プライベート学習におけるプライバシ損失をさらに軽減できる改良された勾配クリッピング手法を提案する。
この理論を支持するために,プライバシーと有効性の改善に関する徹底した実験を行った。
通常のdp-sgdを使用して、$(\epsilon=145.8,\delta=10^{-5})$(\epsilon=145.8,\delta=10^{-5})$を与えられた$(\epsilon=8, \delta=10^{-5})$として与えられた$(\epsilon=6.1, \delta=10^{-5})$dp-budgetをモデルmix経由で、$(\epsilon=6.1, \delta=10^{-5})$ dp-budgetでresnet-20ネットワークを訓練する。
関連論文リスト
- LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models [31.718398512438238]
本稿では,LMO-DP(Language Model-based Optimal Differential Privacy)機構を提案する。
これは、最適化された言語モデルの厳密な構成を、サブ最適DPメカニズムで実現するための第一歩である。
LMO-DPはまた、強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。
論文 参考訳（メタデータ） (2024-05-29T05:32:50Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。
最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文 参考訳（メタデータ） (2022-11-24T04:04:20Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳（メタデータ） (2022-10-07T08:44:35Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳（メタデータ） (2022-10-05T11:32:49Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - The Fundamental Price of Secure Aggregation in Differentially Private
Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。
我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。
これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文 参考訳（メタデータ） (2022-03-07T22:56:09Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。