論文の概要: DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass
- arxiv url: http://arxiv.org/abs/2309.06746v2
- Date: Tue, 19 Sep 2023 08:19:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 06:43:22.321388
- Title: DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass
- Title（参考訳）: DP-フォワード:フォワードパスにおける差分プライバシーを持つ言語モデルの微調整と推論
- Authors: Minxin Du, Xiang Yue, Sherman S. M. Chow, Tianhao Wang, Chenyu Huang, Huan Sun,
- Abstract要約: DP-フォワードの摂動は言語モデルの前方通過に埋め込まれる。
ほぼ民間のベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
- 参考スコア（独自算出の注目度）: 22.578388829171157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private stochastic gradient descent (DP-SGD) adds noise to gradients in back-propagation, safeguarding training data from privacy leakage, particularly membership inference. It fails to cover (inference-time) threats like embedding inversion and sensitive attribute inference. It is also costly in storage and computation when used to fine-tune large pre-trained language models (LMs). We propose DP-Forward, which directly perturbs embedding matrices in the forward pass of LMs. It satisfies stringent local DP requirements for training and inference data. To instantiate it using the smallest matrix-valued noise, we devise an analytic matrix Gaussian~mechanism (aMGM) by drawing possibly non-i.i.d. noise from a matrix Gaussian distribution. We then investigate perturbing outputs from different hidden (sub-)layers of LMs with aMGM noises. Its utility on three typical tasks almost hits the non-private baseline and outperforms DP-SGD by up to 7.7pp at a moderate privacy level. It saves 3$\times$ time and memory costs compared to DP-SGD with the latest high-speed library. It also reduces the average success rates of embedding inversion and sensitive attribute inference by up to 88pp and 41pp, respectively, whereas DP-SGD fails.
- Abstract（参考訳）: 個人確率勾配勾配(DP-SGD)は、バックプロパゲーションの勾配にノイズを加え、プライバシー漏洩、特にメンバーシップ推論からトレーニングデータを保護している。
インバージョンやセンシティブな属性推論のような(推論時の)脅威をカバーできない。
また、大規模な訓練済み言語モデル(LM)を微調整する際には、ストレージや計算に費用がかかる。
本稿では,LMの前方通過に行列を埋め込んで直接摂動するDP-フォワードを提案する。
トレーニングと推論データに対する厳格なローカルDP要件を満たす。
最小の行列値ノイズを用いてこれをインスタンス化するために、行列ガウス分布から非二項ノイズを引いて解析行列ガウス—力学(aMGM)を考案する。
次に、AMGMノイズを有するLMの異なる隠れ(サブ)層からの摂動出力について検討する。
典型的な3つのタスクのユーティリティは、ほとんどプライベートでないベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
最新の高速ライブラリであるDP-SGDと比較して,3$\timesの時間とメモリコストを節約できる。
また、DP-SGDは失敗するのに対し、埋め込み反転と感度特性推定の平均成功率を最大88ppと41ppに下げる。
関連論文リスト
- Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳（メタデータ） (2024-04-24T06:51:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳（メタデータ） (2024-02-22T09:26:16Z) - Implicit Bias in Noisy-SGD: With Applications to Differentially Private
Training [9.618473763561418]
Gradient Descent(SGD)を使用した小さなバッチによるDeep Neural Networks(DNN)のトレーニングでは、より大きなバッチよりも優れたテストパフォーマンスが得られる。
DNNのトレーニングで差分プライバシー(DP)を確保するために使用されるDP-SGDは、クリップされた勾配にガウスノイズを付加する。
驚くべきことに、大規模なバッチトレーニングは依然としてパフォーマンスを著しく低下させており、強力なDPが大量のバッチを使用する必要があることを保証しているため、重要な課題となっている。
論文 参考訳（メタデータ） (2024-02-13T10:19:33Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。
具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。
提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2023-03-20T16:27:36Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳（メタデータ） (2021-12-29T07:32:29Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。
本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-02-05T06:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。