論文の概要: Differentially Private Stochastic Gradient Descent with Low-Noise
- arxiv url: http://arxiv.org/abs/2209.04188v1
- Date: Fri, 9 Sep 2022 08:54:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-12 12:28:27.947921
- Title: Differentially Private Stochastic Gradient Descent with Low-Noise
- Title（参考訳）: 低雑音による個人性確率勾配の差
- Authors: Puyu Wang, Yunwen Lei, Yiming Ying, Ding-Xuan Zhou
- Abstract要約: 微分プライベート降下勾配(SGD)アルゴリズムのプライバシーと実用性(一般化)性能について検討する。
点学習には、$mathcalOBigの過剰なリスク境界を確立する。
ペアで学習するために、勾配に基づく単純なプライベートSGDを提案し、これは$(epsilon,delta)$-differential privacyを満たす。
- 参考スコア（独自算出の注目度）: 49.981789906200035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, by introducing a low-noise condition, we study privacy and
utility (generalization) performances of differentially private stochastic
gradient descent (SGD) algorithms in a setting of stochastic convex
optimization (SCO) for both pointwise and pairwise learning problems. For
pointwise learning, we establish sharper excess risk bounds of order
$\mathcal{O}\Big( \frac{\sqrt{d\log(1/\delta)}}{n\epsilon} \Big)$ and
$\mathcal{O}\Big( {n^{-
\frac{1+\alpha}{2}}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\Big)$ for the
$(\epsilon,\delta)$-differentially private SGD algorithm for strongly smooth
and $\alpha$-H\"older smooth losses, respectively, where $n$ is the sample size
and $d$ is the dimensionality. For pairwise learning, inspired by
\cite{lei2020sharper,lei2021generalization}, we propose a simple private SGD
algorithm based on gradient perturbation which satisfies
$(\epsilon,\delta)$-differential privacy, and develop novel utility bounds for
the proposed algorithm. In particular, we prove that our algorithm can achieve
excess risk rates
$\mathcal{O}\Big(\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\Big)$
with gradient complexity $\mathcal{O}(n)$ and
$\mathcal{O}\big(n^{\frac{2-\alpha}{1+\alpha}}+n\big)$ for strongly smooth and
$\alpha$-H\"older smooth losses, respectively. Further, faster learning rates
are established in a low-noise setting for both smooth and non-smooth losses.
To the best of our knowledge, this is the first utility analysis which provides
excess population bounds better than
$\mathcal{O}\Big(\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\Big)$
for privacy-preserving pairwise learning.
- Abstract（参考訳）: 本稿では,低雑音条件を導入することにより,確率的凸最適化(SCO)の設定において,確率的勾配勾配勾配(SGD)アルゴリズムのプライバシと実用性(一般化)性能について検討する。
ポイントワイズ学習では、$(\epsilon,\delta)$-微分的プライベートなsgdアルゴリズムにより、$(\epsilon,\delta)$が強く滑らかで$\alpha$-h\"olderの滑らかな損失に対して、$n$がサンプルサイズで$d$が次元性である、$\mathcal{o}\big( \frac{\sqrt{d\log(1/\alpha}{2}}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\big)$ と$\mathcal{o}\big( \frac{\sqrt{d\log(1/\delta)}}{n\epsilon} \big)$ と$\mathcal{o}\big({n^{\frac{1+\alpha}{2}}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\big)$ が成立する。
ペアワイズ学習のために,{lei2020sharper,lei2021 generalization} に触発され,$(\epsilon,\delta)$-differential privacy を満たす勾配摂動に基づく簡易なsgdアルゴリズムを提案し,提案アルゴリズムの新たなユーティリティ境界を開発する。
特に、このアルゴリズムが超過リスク率$\mathcal{o}\big(\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\big)$ 勾配複雑性$\mathcal{o}(n)$ と $\mathcal{o}\big(n^{\frac{2-\alpha}{1+\alpha}}+n\big)$ をそれぞれ強滑らかかつ$\alpha$-h\"older 滑らかな損失に対して達成できることを証明する。
さらに、スムーズかつ非スムーズな損失に対して、低ノイズ環境でより高速な学習率を確立する。
我々の知る限りでは、これはプライバシ保存ペアワイズ学習に$\mathcal{o}\big(\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log(1/\delta)}}{n\epsilon}\big)$よりも優れた過剰人口境界を提供する最初のユーティリティ分析である。
関連論文リスト
- Differentially Private Sliced Inverse Regression: Minimax Optimality and
Algorithm [16.14032140601778]
十分な次元削減の文脈において、プライバシー問題に対処するために設計された最適微分プライベートアルゴリズムを提案する。
我々は、対数係数まで最小限の下位境界を達成できる微分プライベートアルゴリズムを開発した。
自然な拡張として、微分プライベートスパース主成分分析に類似した下界と上界を容易に提供できる。
論文 参考訳（メタデータ） (2024-01-16T06:47:43Z) - Efficient Sparse Least Absolute Deviation Regression with Differential
Privacy [10.414082115202003]
頑健な回帰問題に対する高速なプライバシー保護学習ソリューションを開発した。
本アルゴリズムは,スパースLAD問題をペナル化最小二乗推定問題として修正し,高速な推定を実現する。
我々のアルゴリズムは、最先端のプライバシ保存回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを実現することができることを示す。
論文 参考訳（メタデータ） (2024-01-02T17:13:34Z) - DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。
探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文 参考訳（メタデータ） (2023-10-27T09:17:15Z) - Dynamic Privacy Allocation for Locally Differentially Private Federated
Learning with Composite Objectives [10.528569272279999]
本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。
提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。
解析結果から,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-02T13:30:33Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Bring Your Own Algorithm for Optimal Differentially Private Stochastic
Minimax Optimization [44.52870407321633]
これらの設定の聖杯は、プライバシーと過剰な人口減少の間の最適なトレードオフを保証することです。
微分プライベート・ミニマックス最適化(DP-SMO)問題を解くための一般的なフレームワークを提供する。
我々のフレームワークは、非滑らかな微分プライベート凸最適化(DP-SCO)のための最近提案されたフェイズド・ERM法[20]から着想を得たものである。
論文 参考訳（メタデータ） (2022-06-01T10:03:20Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-10-14T15:02:20Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。