論文の概要: DPSUR: Accelerating Differentially Private Stochastic Gradient Descent
Using Selective Update and Release
- arxiv url: http://arxiv.org/abs/2311.14056v2
- Date: Wed, 29 Nov 2023 08:43:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 03:02:43.777709
- Title: DPSUR: Accelerating Differentially Private Stochastic Gradient Descent
Using Selective Update and Release
- Title（参考訳）: DPSUR: 選択的更新とリリースによる個人性確率勾配の高速化
- Authors: Jie Fu, Qingqing Ye, Haibo Hu, Zhili Chen, Lulu Wang, Kuncan Wang, Xun
Ran
- Abstract要約: 本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。
主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。
MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
- 参考スコア（独自算出の注目度）: 29.765896801370612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are known to memorize private data to reduce their
training loss, which can be inadvertently exploited by privacy attacks such as
model inversion and membership inference. To protect against these attacks,
differential privacy (DP) has become the de facto standard for
privacy-preserving machine learning, particularly those popular training
algorithms using stochastic gradient descent, such as DPSGD. Nonetheless, DPSGD
still suffers from severe utility loss due to its slow convergence. This is
partially caused by the random sampling, which brings bias and variance to the
gradient, and partially by the Gaussian noise, which leads to fluctuation of
gradient updates.
Our key idea to address these issues is to apply selective updates to the
model training, while discarding those useless or even harmful updates.
Motivated by this, this paper proposes DPSUR, a Differentially Private training
framework based on Selective Updates and Release, where the gradient from each
iteration is evaluated based on a validation test, and only those updates
leading to convergence are applied to the model. As such, DPSUR ensures the
training in the right direction and thus can achieve faster convergence than
DPSGD. The main challenges lie in two aspects -- privacy concerns arising from
gradient evaluation, and gradient selection strategy for model update. To
address the challenges, DPSUR introduces a clipping strategy for update
randomization and a threshold mechanism for gradient selection. Experiments
conducted on MNIST, FMNIST, CIFAR-10, and IMDB datasets show that DPSUR
significantly outperforms previous works in terms of convergence speed and
model utility.
- Abstract（参考訳）: マシンラーニングモデルは、トレーニング損失を減らすためにプライベートデータを記憶することが知られており、モデルインバージョンやメンバシップ推論といったプライバシ攻撃によって不注意に悪用される可能性がある。
これらの攻撃から保護するために、差分プライバシー(dp)は、特にdpsgdのような確率的勾配降下を用いた一般的なトレーニングアルゴリズムにおいて、プライバシ保存機械学習のデファクトスタンダードとなっている。
それでも、DPSGDは、収束が遅いために、依然として深刻なユーティリティー損失に悩まされている。
これは、勾配にバイアスとばらつきをもたらすランダムサンプリングと、勾配更新の変動を引き起こすガウスノイズによって部分的に引き起こされる。
これらの問題に対処するための重要なアイデアは、モデルトレーニングに選択的に更新を適用することです。
そこで本研究では,各イテレーションからの勾配を検証テストに基づいて評価し,収束に至る更新のみをモデルに適用する,選択的更新とリリースに基づく差分プライベートなトレーニングフレームワークdpsurを提案する。
したがって、DPSURは正しい方向のトレーニングを確実にし、DPSGDよりも早く収束することができる。
主な課題は2つの側面にある – 勾配評価に起因するプライバシの懸念と、モデル更新のための勾配選択戦略だ。
この課題に対処するため、DPSURは、更新ランダム化のためのクリッピング戦略と、勾配選択のためのしきい値メカニズムを導入した。
MNIST、FMNIST、CIFAR-10、IMDBのデータセットで行った実験では、DPSURは収束速度とモデルユーティリティの点で、従来よりも大幅に優れていた。
関連論文リスト
- Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。
このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。
DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
論文 参考訳（メタデータ） (2024-11-05T12:47:30Z) - Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。
DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。
提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
論文 参考訳（メタデータ） (2024-09-05T08:40:54Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - Privacy Preserving Federated Learning with Convolutional Variational
Bottlenecks [2.1301560294088318]
近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。
ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。
攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
論文 参考訳（メタデータ） (2023-09-08T16:23:25Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳（メタデータ） (2022-06-15T01:46:05Z) - PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。
プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。
任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
論文 参考訳（メタデータ） (2021-08-10T14:43:17Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。