論文の概要: Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy
- arxiv url: http://arxiv.org/abs/2407.04884v2
- Date: Fri, 11 Oct 2024 11:26:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:28:37.138068
- Title: Approximating Two-Layer ReLU Networks for Hidden State Analysis in Differential Privacy
- Title(参考訳): 差分プライバシーにおける隠れ状態解析のための2層ReLUネットワークの近似
- Authors: Antti Koskela,
- Abstract要約: DP-SGDで訓練した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングすることが可能である。
ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
- 参考スコア(独自算出の注目度): 3.8254443661593633
- License:
- Abstract: The hidden state threat model of differential privacy (DP) assumes that the adversary has access only to the final trained machine learning (ML) model, without seeing intermediate states during training. Current privacy analyses under this model, however, are limited to convex optimization problems, reducing their applicability to multi-layer neural networks, which are essential in modern deep learning applications. Additionally, the most successful applications of the hidden state privacy analyses in classification tasks have been for logistic regression models. We demonstrate that it is possible to privately train convex problems with privacy-utility trade-offs comparable to those of one hidden-layer ReLU networks trained with DP stochastic gradient descent (DP-SGD). We achieve this through a stochastic approximation of a dual formulation of the ReLU minimization problem which results in a strongly convex problem. This enables the use of existing hidden state privacy analyses, providing accurate privacy bounds also for the noisy cyclic mini-batch gradient descent (NoisyCGD) method with fixed disjoint mini-batches. Our experiments on benchmark classification tasks show that NoisyCGD can achieve privacy-utility trade-offs comparable to DP-SGD applied to one-hidden-layer ReLU networks. Additionally, we provide theoretical utility bounds that highlight the speed-ups gained through the convex approximation.
- Abstract(参考訳): 差分プライバシー(DP)の隠れ状態脅威モデルは、トレーニング中に中間状態を見ることなく、最終訓練された機械学習(ML)モデルにしかアクセスできないと仮定する。
しかし、このモデルの下での現在のプライバシー分析は凸最適化の問題に限られており、現代のディープラーニングアプリケーションに不可欠な多層ニューラルネットワークへの適用性が低下している。
さらに、分類タスクにおける隠蔽状態のプライバシー分析の最も成功した応用は、ロジスティック回帰モデルである。
本研究では,DP確率勾配勾配(DP-SGD)を学習した1つの隠蔽層ReLUネットワークに匹敵する,プライバシユーティリティトレードオフによる凸問題をプライベートにトレーニングできることを実証する。
我々は、ReLU最小化問題の双対な定式化を確率論的に近似することでこれを達成し、強い凸問題をもたらす。
これにより、既存の隠れ状態のプライバシー分析が利用でき、ノイズの多いサイクリックなミニバッチ勾配降下法(NoisyCGD)にも正確なプライバシー境界を提供する。
ベンチマーク分類タスクの実験により、NoisyCGDは1層ReLUネットワークに適用されたDP-SGDに匹敵するプライバシー利用トレードオフを達成できることが示された。
さらに、凸近似によって得られるスピードアップを強調する理論的ユーティリティ境界を提供する。
関連論文リスト
- Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳(メタデータ) (2023-08-23T09:20:41Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - A Differentially Private Framework for Deep Learning with Convexified
Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文 参考訳(メタデータ) (2022-04-03T11:10:05Z) - Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。
本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
論文 参考訳(メタデータ) (2021-12-01T21:43:34Z) - Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization [13.742100810492014]
機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
論文 参考訳(メタデータ) (2021-10-22T10:22:48Z) - Bypassing the Ambient Dimension: Private SGD with Gradient Subspace
Identification [47.23063195722975]
微分プライベートSGD(DP-SGD)は、微分プライベートな経験的リスク最小化(ERM)を解決する最も一般的な方法の1つである。
各勾配更新におけるノイズの多い摂動のため、DP-SGDの誤差率は、モデル内のパラメータ数である周囲次元$p$でスケールする。
雑音勾配を低次元部分空間に投影することでノイズ低減を行うDP-SGDを提案する。
論文 参考訳(メタデータ) (2020-07-07T22:31:01Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。