論文の概要: Differentially Private ADMM Algorithms for Machine Learning
- arxiv url: http://arxiv.org/abs/2011.00164v1
- Date: Sat, 31 Oct 2020 01:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 04:48:41.734591
- Title: Differentially Private ADMM Algorithms for Machine Learning
- Title（参考訳）: 機械学習のための微分プライベートADMMアルゴリズム
- Authors: Tao Xu, Fanhua Shang, Yuanyuan Liu, Hongying Liu, Longjie Shen, Maoguo
Gong
- Abstract要約: 勾配摂動による乗算器(ADMM)の高効率な個人交互方向法について検討した。
差分型ADMM(DP-ADMM)アルゴリズムを提案し,性能保証を$(epsilon,delta)$-differential privacy とする。
- 参考スコア（独自算出の注目度）: 38.648113004535155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study efficient differentially private alternating
direction methods of multipliers (ADMM) via gradient perturbation for many
machine learning problems. For smooth convex loss functions with (non)-smooth
regularization, we propose the first differentially private ADMM (DP-ADMM)
algorithm with performance guarantee of $(\epsilon,\delta)$-differential
privacy ($(\epsilon,\delta)$-DP). From the viewpoint of theoretical analysis,
we use the Gaussian mechanism and the conversion relationship between R\'enyi
Differential Privacy (RDP) and DP to perform a comprehensive privacy analysis
for our algorithm. Then we establish a new criterion to prove the convergence
of the proposed algorithms including DP-ADMM. We also give the utility analysis
of our DP-ADMM. Moreover, we propose an accelerated DP-ADMM (DP-AccADMM) with
the Nesterov's acceleration technique. Finally, we conduct numerical
experiments on many real-world datasets to show the privacy-utility tradeoff of
the two proposed algorithms, and all the comparative analysis shows that
DP-AccADMM converges faster and has a better utility than DP-ADMM, when the
privacy budget $\epsilon$ is larger than a threshold.
- Abstract（参考訳）: 本稿では,多くの機械学習問題に対して,勾配摂動を用いた乗算器(ADMM)の効率的な微分プライベート交互方向法について検討する。
滑らかな凸損失関数を(非)平滑な正規化で行う場合, 性能保証が$(\epsilon,\delta)$-differential privacy((\epsilon,\delta)$-DP)となる最初の微分プライベートADMM(DP-ADMM)アルゴリズムを提案する。
理論的解析の観点から,R'enyi Differential Privacy (RDP) とDPの変換関係とガウス機構を用いて,アルゴリズムの包括的なプライバシー分析を行う。
そして,DP-ADMMを含む提案アルゴリズムの収束性を証明するための新しい基準を確立する。
また,DP-ADMMの有用性分析を行った。
さらに,Nesterovの加速技術を用いたDP-ADMM(DP-AccADMM)を提案する。
最後に,提案する2つのアルゴリズムのプライバシ利用性トレードオフを示すために,実世界の多くのデータセットで数値実験を行い,dp-accadmm がより高速に収束し,プライバシ予算 $\epsilon$ がしきい値より大きい場合,dp-admm よりも優れたユーティリティを持つことを示す。
関連論文リスト
- Individualized Privacy Accounting via Subsampling with Applications in Combinatorial Optimization [55.81991984375959]
本研究では、以下の簡単な観察を通して、個別化されたプライバシ会計を解析する新しい手法を提案する。
我々は、分解可能な部分モジュラーおよびセットアルゴリズム被覆を含む、プライベート最適化問題に対するいくつかの改良されたアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-05-28T19:02:30Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。
これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。
しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
論文 参考訳（メタデータ） (2023-10-23T07:54:39Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - On Private Online Convex Optimization: Optimal Algorithms in
$\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。
また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。
提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
論文 参考訳（メタデータ） (2022-06-16T12:09:47Z) - Differentially Private Federated Learning via Inexact ADMM [0.0]
差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。
我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
論文 参考訳（メタデータ） (2021-06-11T02:28:07Z) - Towards Plausible Differentially Private ADMM Based Distributed Machine
Learning [27.730535587906168]
本稿では,PP-ADMM と IPP-ADMM という,可塑性差分ADMM アルゴリズムを提案する。
同じプライバシ保証の下では、提案アルゴリズムはモデル精度と収束率の観点から、最先端技術である。
論文 参考訳（メタデータ） (2020-08-11T03:40:55Z) - Faster Stochastic Alternating Direction Method of Multipliers for
Nonconvex Optimization [110.52708815647613]
本稿では、SPADMMと呼ばれる新しい経路を用いて、非積分最適化のための乗算器の高速な交互方向(ADMM)を提案する。
我々は,SPADMMが1次微分オラクル推定器 (IFO) を達成し,IFOの記録を求める。
我々は,オンラインSPIDER-ADMMがIFOFO(epsilon)を$mathcalO(n1)$の係数で持つことを示した。
論文 参考訳（メタデータ） (2020-08-04T02:59:42Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。