論文の概要: Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization
- arxiv url: http://arxiv.org/abs/2206.13033v1
- Date: Mon, 27 Jun 2022 03:45:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 14:21:27.930111
- Title: Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization
- Title（参考訳）: 微分プライベート非凸最適化のための摂動を伴う正規化/傾斜sgd
- Authors: Xiaodong Yang and Huishuai Zhang and Wei Chen and Tie-Yan Liu
- Abstract要約: DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
- 参考スコア（独自算出の注目度）: 94.06564567766475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By ensuring differential privacy in the learning algorithms, one can
rigorously mitigate the risk of large models memorizing sensitive training
data. In this paper, we study two algorithms for this purpose, i.e., DP-SGD and
DP-NSGD, which first clip or normalize \textit{per-sample} gradients to bound
the sensitivity and then add noise to obfuscate the exact information. We
analyze the convergence behavior of these two algorithms in the non-convex
optimization setting with two common assumptions and achieve a rate
$\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/\delta)}{N^2\epsilon^2}}\right)$ of
the gradient norm for a $d$-dimensional model, $N$ samples and
$(\epsilon,\delta)$-DP, which improves over previous bounds under much weaker
assumptions. Specifically, we introduce a regularizing factor in DP-NSGD and
show that it is crucial in the convergence proof and subtly controls the bias
and noise trade-off. Our proof deliberately handles the per-sample gradient
clipping and normalization that are specified for the private setting.
Empirically, we demonstrate that these two algorithms achieve similar best
accuracy while DP-NSGD is comparatively easier to tune than DP-SGD and hence
may help further save the privacy budget when accounting the tuning effort.
- Abstract（参考訳）: 学習アルゴリズムにおける差分プライバシを確保することで、センシティブなトレーニングデータを記憶する大規模モデルのリスクを厳格に軽減することができる。
本稿では,この目的のための2つのアルゴリズム,すなわちdp-sgdとdp-nsgdについて検討する。
これら2つのアルゴリズムの収束挙動を2つの共通の仮定で非凸最適化設定で解析し、d$-次元モデルに対する勾配ノルムのレート$\mathcal{o}\left(\sqrt[4]{\frac{d\log(1/\delta)}{n^2\epsilon^2}}\right)$d$-dimensional model, $n$ sample, $(\epsilon,\delta)$-dp を達成する。
具体的には,dp-nsgdの正則化因子を導入し,収束証明において重要であり,バイアスとノイズのトレードオフを微妙に制御できることを示す。
この証明は、プライベート設定で指定されたサンプル毎の勾配クリッピングと正規化を意図的に処理する。
実験により,DP-NSGDはDP-SGDよりも比較的チューニングが容易であり,チューニング作業を考慮した場合のプライバシ予算の削減に役立つことが示された。
関連論文リスト
- Differentially Private Best-Arm Identification [14.916947598339988]
ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。
これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
論文 参考訳（メタデータ） (2024-06-10T16:02:48Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Clipped SGD Algorithms for Privacy Preserving Performative Prediction: Bias Amplification and Remedies [28.699424769503764]
クラッピング勾配降下(SGD)アルゴリズムは、プライバシー保護最適化の最も一般的なアルゴリズムの一つである。
本稿では,これらのアルゴリズムの収束特性を実演予測設定で検討する。
論文 参考訳（メタデータ） (2024-04-17T02:17:05Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳（メタデータ） (2022-10-07T08:44:35Z) - On Private Online Convex Optimization: Optimal Algorithms in
$\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。
また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。
提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
論文 参考訳（メタデータ） (2022-06-16T12:09:47Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。