論文の概要: On the Convergence of Deep Learning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2106.07830v1
- Date: Tue, 15 Jun 2021 01:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 15:28:31.904198
- Title: On the Convergence of Deep Learning with Differential Privacy
- Title（参考訳）: 差分プライバシーを用いたディープラーニングの収束性について
- Authors: Zhiqi Bu, Hua Wang, Qi Long, Weijie J. Su
- Abstract要約: 差分プライバシ(DP)を用いたディープラーニングでは、ニューラルネットワークは通常、非プライベートプライバシよりも収束の遅い(つまりパフォーマンスの低下)コストでプライバシを実現する。
この研究は、トレーニングダイナミクスのレンズとニューラルタンジェントカーネル(NTK)を通して、DP深層学習の最初の収束解析を与える。
- 参考スコア（独自算出の注目度）: 22.958648188097218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In deep learning with differential privacy (DP), the neural network achieves
the privacy usually at the cost of slower convergence (and thus lower
performance) than its non-private counterpart. This work gives the first
convergence analysis of the DP deep learning, through the lens of training
dynamics and the neural tangent kernel (NTK). Our convergence theory
successfully characterizes the effects of two key components in the DP
training: the per-sample clipping (flat or layerwise) and the noise addition.
Our analysis not only initiates a general principled framework to understand
the DP deep learning with any network architecture and loss function, but also
motivates a new clipping method -- the global clipping, that significantly
improves the convergence while preserving the same privacy guarantee as the
existing local clipping.
In terms of theoretical results, we establish the precise connection between
the per-sample clipping and NTK matrix. We show that in the gradient flow,
i.e., with infinitesimal learning rate, the noise level of DP optimizers does
not affect the convergence. We prove that DP gradient descent (GD) with global
clipping guarantees the monotone convergence to zero loss, which can be
violated by the existing DP-GD with local clipping. Notably, our analysis
framework easily extends to other optimizers, e.g., DP-Adam. Empirically
speaking, DP optimizers equipped with global clipping perform strongly on a
wide range of classification and regression tasks. In particular, our global
clipping is surprisingly effective at learning calibrated classifiers, in
contrast to the existing DP classifiers which are oftentimes over-confident and
unreliable. Implementation-wise, the new clipping can be realized by adding one
line of code into the Opacus library.
- Abstract（参考訳）: 差分プライバシ(DP)を用いたディープラーニングでは、ニューラルネットワークは通常、非プライベートプライバシよりも収束の遅い(つまりパフォーマンスの低下)コストでプライバシを実現する。
この研究は、トレーニングダイナミクスのレンズとニューラルタンジェントカーネル(NTK)を通して、DPディープラーニングの最初の収束解析を提供する。
我々の収束理論は,DPトレーニングにおける2つの重要な要素 – サンプルごとのクリッピング(平らあるいは層単位で)とノイズ付加 – の効果をうまく特徴づける。
我々の分析は、DPディープラーニングをネットワークアーキテクチャや損失関数で理解するための一般的なフレームワークを開始するだけでなく、既存のローカルクリッピングと同じプライバシー保証を維持しながら、収束を大幅に改善する新たなクリッピング手法である、グローバルクリッピングを動機付けています。
理論的な結果の観点からは、サンプル単位のクリップングとntk行列の正確な接続を確立する。
勾配流,すなわち無限小学習率では,DPオプティマイザの雑音レベルが収束に影響を及ぼさないことを示す。
我々は,グローバルクリッピングによるDP勾配降下(GD)が,局所クリッピングによる既存のDP-GDに反するモノトン収束をゼロ損失に保証することを証明する。
特に、分析フレームワークは、DP-Adamなど、他のオプティマイザにも容易に拡張できます。
経験的に言えば、グローバルクリッピングを備えたDPオプティマイザは、広範囲の分類および回帰タスクで強く機能する。
特に、我々のグローバルクリッピングは、しばしば自信過剰で信頼性の低い既存のDP分類器とは対照的に、校正分類器の学習に驚くほど効果的である。
実装面では、Opacusライブラリに1行のコードを追加することで、新しいクリッピングを実現することができる。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - Adap DP-FL: Differentially Private Federated Learning with Adaptive
Noise [30.005017338416327]
フェデレートラーニングは、クライアントにローカルトレーニングモデルのみを公開することによって、孤立したデータアイランドの問題に対処しようとしている。
近年、データプライバシを保護するためのフェデレーション学習に差分プライバシーが適用されているが、付加されるノイズは学習性能を著しく低下させる可能性がある。
適応雑音付きフェデレーション学習のための差分プライベートスキーム(Adap DP-FL)を提案する。
論文 参考訳（メタデータ） (2022-11-29T03:20:40Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳（メタデータ） (2022-10-05T11:32:49Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Differentially Private Learning Needs Hidden State (Or Much Faster
Convergence) [9.429448411561541]
差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。
私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
論文 参考訳（メタデータ） (2022-03-10T13:31:08Z) - Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for
Private Learning [74.73901662374921]
差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。
偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
論文 参考訳（メタデータ） (2021-02-25T04:29:58Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳（メタデータ） (2020-06-27T19:08:12Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳（メタデータ） (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。