論文の概要: Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger
- arxiv url: http://arxiv.org/abs/2206.07136v1
- Date: Tue, 14 Jun 2022 19:49:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 12:54:11.048324
- Title: Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger
- Title(参考訳): 自動クリッピング: 異なるプライベートなディープラーニングにより、簡単かつ強力に
- Authors: Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis
- Abstract要約: サンプルごとのクリッピングは、ディープラーニングモデルのための実用的なプライベートディファレンシャル(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
我々は,DPグラデーションのチューンRを不要にするAutoClippingという,使い易い代替案を提案する。
- 参考スコア(独自算出の注目度): 29.7761220633954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Per-example gradient clipping is a key algorithmic step that enables
practical differential private (DP) training for deep learning models. The
choice of clipping norm $R$, however, is shown to be vital for achieving high
accuracy under DP. We propose an easy-to-use replacement, called AutoClipping,
that eliminates the need to tune $R$ for any DP optimizers, including DP-SGD,
DP-Adam, DP-LAMB and many others. The automatic variants are as private and
computationally efficient as existing DP optimizers, but require no DP-specific
hyperparameters and thus make DP training as amenable as the standard
non-private training. We give a rigorous convergence analysis of automatic
DP-SGD in the non-convex setting, which shows that it enjoys an asymptotic
convergence rate that matches the standard SGD. We also demonstrate on various
language and vision tasks that automatic clipping outperforms or matches the
state-of-the-art, and can be easily employed with minimal changes to existing
codebases.
- Abstract(参考訳): ディファレンシャル・プライベート(DP)トレーニングを深層学習モデルに適用するためのアルゴリズムとして,サンプルごとの勾配クリッピングが重要となる。
しかし、クリッピング基準の$R$の選択は、DPの下で高い精度を達成するために不可欠であることが示されている。
DP-SGD, DP-Adam, DP-LAMBなど, DPオプティマイザに対して$R$をチューニングする必要がなくなる。
自動変種は、既存のDPオプティマイザと同じくらいプライベートで計算的に効率的であるが、DP固有のハイパーパラメータを必要としないため、DPトレーニングを標準の非プライベートトレーニングと同等にすることができる。
非凸状態におけるDP-SGDの厳密な収束解析を行い、標準のSGDと一致する漸近収束率を享受していることを示す。
また,スクリッピングが最先端のものよりも優れているか,あるいは既存のコードベースに最小限の変更で容易に適用可能な,さまざまな言語やビジョンタスクについても実演しています。
関連論文リスト
- Auto DP-SGD: Dual Improvements of Privacy and Accuracy via Automatic
Clipping Threshold and Noise Multiplier Estimation [1.7942265700058988]
DP-SGDは、ディープラーニングアプリケーションにおける個人識別情報を保護するための一般的な方法として登場した。
本稿では,各トレーニングサンプルの勾配を勾配情報を失うことなくスケールするAuto DP-SGDを提案する。
我々は,Auto DP-SGDが既存のSOTA DP-SGDメソッドよりも,様々なベンチマークデータセットのプライバシと精度で優れていることを示す。
論文 参考訳(メタデータ) (2023-12-05T00:09:57Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳(メタデータ) (2022-12-01T07:26:49Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with
Importance Sampling [19.59757201902467]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳(メタデータ) (2022-10-18T07:03:14Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization [13.742100810492014]
機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
論文 参考訳(メタデータ) (2021-10-22T10:22:48Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z) - Practical and Private (Deep) Learning without Sampling or Shuffling [24.29228578925639]
ミニバッチ勾配を用いた差分プライバシーのトレーニングモデルを検討する。
DP-SGDを増幅したDP-SGDと比較し,DP-FTRLを解析した。
論文 参考訳(メタデータ) (2021-02-26T20:16:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。