論文の概要: DP-FP: Differentially Private Forward Propagation for Large Models
- arxiv url: http://arxiv.org/abs/2112.14430v1
- Date: Wed, 29 Dec 2021 07:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 21:25:12.119258
- Title: DP-FP: Differentially Private Forward Propagation for Large Models
- Title（参考訳）: DP-FP:大規模モデルのための微分プライベートフォワードプロパゲーション
- Authors: Jian Du and Haitao Mi
- Abstract要約: DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
- 参考スコア（独自算出の注目度）: 2.062295244789704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When applied to large-scale learning problems, the conventional wisdom on
privacy-preserving deep learning, known as Differential Private Stochastic
Gradient Descent (DP-SGD), has met with limited success due to significant
performance degradation and high memory overhead when compared to the
non-privacy counterpart. We show how to mitigate the performance drop by
replacing the DP-SGD with a novel DP Forward-Propagation (DP-FP) followed by an
off-the-shelf non-DP optimizer. Our DP-FP employs novel (1) representation
clipping followed by noise addition in the forward propagation stage, as well
as (2) micro-batch construction via subsampling to achieve DP amplification and
reduce noise power to $1/M$, where $M$ is the number of micro-batch in a step.
When training a classification model, our DP-FP with all of the
privacy-preserving operations on the representation is innately free of
gradient bias, total noise proportionally to model size, and memory issues in
DP-SGD. As a result, our DP-FP outperforms cutting-edge DP-SGD while retaining
the same level of privacy, and it approaches non-private baselines and
significantly outperforms state-of-the-art DP-SGD variants. When applied to
RoBERTa-large on four downstream tasks, for example, DP-FP achieves an average
accuracy of 91.34\% with privacy budgets less than 3, representing a 3.81\%
performance improvement over the state-of-the-art DP-SGD and only a 0.9\% loss
compared to the non-private baseline but with a significantly lower privacy
leakage risk.
- Abstract（参考訳）: 大規模学習問題に適用した場合、従来のプライバシー保護の深層学習に関する知恵(DP-SGD)は、非プライバシに比べてパフォーマンスが著しく低下し、メモリオーバーヘッドが高いため、限られた成功を収めている。
DP-SGDを新しいDPフォワード・プロパゲーション(DP-FP)に置き換えて,非DPオプティマイザを用いた性能低下を緩和する方法を示す。
DP-FP では,(1) 表現のクリッピング,(2) サブサンプリングによるマイクロバッチ構築により,DP 増幅を実現し,ノイズパワーを1/M$ に減らし,M$ はマイクロバッチのステップ数である。
分類モデルのトレーニングでは,表象上のプライバシー保護操作を全て行うDP-FPには,勾配バイアスやモデルサイズに比例する全ノイズ,DP-SGDのメモリ問題などが生まれない。
その結果,DP-FPはプライバシー水準を保ちながら最先端のDP-SGDより優れ,非プライベートなベースラインに近づき,最先端のDP-SGDよりも大幅に優れていた。
例えば4つの下流タスクでRoBERTa-largeに適用されると、DP-FPは3未満のプライバシー予算で平均91.34\%の精度を達成し、最先端のDP-SGDよりも3.81\%の性能向上を示し、非プライベートベースラインに比べて0.9\%の損失しか得られないが、プライバシー漏洩リスクは著しく低い。
関連論文リスト
- DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。
DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。
実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
論文 参考訳（メタデータ） (2024-08-24T04:27:07Z) - Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。
DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。
公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。
ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
論文 参考訳（メタデータ） (2024-02-28T23:26:27Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - DP-SGD for non-decomposable objective functions [0.0]
類似度に基づく損失関数の新しい変種を開発し、目的関数の勾配を新しい方法で操作し、バッチサイズ$n$に対して$O(1)$の合計勾配の感度を求める。
提案手法は,非プライベートモデルに近い性能を示し,コントラスト損失に対して直接適用したDP-SGDを上回っている。
論文 参考訳（メタデータ） (2023-10-04T18:48:16Z) - DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [23.8561225168394]
ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。
この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。
DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
論文 参考訳（メタデータ） (2022-10-18T07:03:14Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。
同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。
更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
論文 参考訳（メタデータ） (2021-10-30T04:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。