論文の概要: Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy

• arxiv url: http://arxiv.org/abs/2310.14661v1
• Date: Mon, 23 Oct 2023 07:54:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:38:50.198141
• Title: Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
• Title（参考訳）: 純粋およびガウス微分プライバシーを持つ個人学習のための扱いやすいmcmc
• Authors: Yingyu Lin, Yian Ma, Yu-Xiang Wang, Rachel Redberg
• Abstract要約: 後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。 これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。 しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
• 参考スコア（独自算出の注目度）: 21.377751255445755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Posterior sampling, i.e., exponential mechanism to sample from the posterior distribution, provides $\varepsilon$-pure differential privacy (DP) guarantees and does not suffer from potentially unbounded privacy breach introduced by $(\varepsilon,\delta)$-approximate DP. In practice, however, one needs to apply approximate sampling methods such as Markov chain Monte Carlo (MCMC), thus re-introducing the unappealing $\delta$-approximation error into the privacy guarantees. To bridge this gap, we propose the Approximate SAample Perturbation (abbr. ASAP) algorithm which perturbs an MCMC sample with noise proportional to its Wasserstein-infinity ($W_\infty$) distance from a reference distribution that satisfies pure DP or pure Gaussian DP (i.e., $\delta=0$). We then leverage a Metropolis-Hastings algorithm to generate the sample and prove that the algorithm converges in W$_\infty$ distance. We show that by combining our new techniques with a careful localization step, we obtain the first nearly linear-time algorithm that achieves the optimal rates in the DP-ERM problem with strongly convex and smooth losses.
• Abstract（参考訳）: 後部サンプリング、すなわち後部分布からサンプリングする指数的なメカニズムは、$\varepsilon$-pure差分プライバシー(DP)保証を提供し、$(\varepsilon,\delta)$-approximate DPによってもたらされる潜在的に無拘束なプライバシー侵害に悩まされない。 しかし実際には、マルコフ連鎖モンテカルロ(MCMC)のような近似サンプリング手法を適用する必要があるため、未適用の$\delta$-approximationエラーをプライバシー保証に再導入する必要がある。 このギャップを埋めるために、純粋なDPまたは純粋なガウスDP(すなわち$\delta=0$)を満たす参照分布からワッサーシュタイン無限度(W_\infty$)に比例した雑音でMCMCサンプルを摂動する近似SAample摂動法(ASAP)アルゴリズムを提案する。 次に、メトロポリス・ハスティングスアルゴリズムを用いてサンプルを生成し、アルゴリズムがW$_\infty$距離に収束することを証明する。 本研究では,新しい手法と注意深い局所化ステップを組み合わせることにより,dp-erm問題において,強い凸と滑らかな損失を伴う最適レートを達成する最初の近似時間アルゴリズムを得る。

関連論文リスト

• Statistical Inference for Privatized Data with Unknown Sample Size [7.933465724913661]
  非有界差分プライバシー(DP)における民生データ分析のための理論とアルゴリズムの両方を開発する。 非有界DPと有界DPのサンプリング分布間の距離は、サンプルサイズ$n$が無限に近づくにつれてゼロになることを示す。
  論文  参考訳（メタデータ） (2024-06-10T13:03:20Z)
• Near-Optimal differentially private low-rank trace regression with guaranteed private initialization [0.0]
  RRd_1times d$におけるランク-r$行列$Mの差分プライベート(DP)推定をトレース回帰モデルの下で検討する。 我々はまた、リーマン最適化(DP-RGrad)に基づいて$M$を推定する微分プライベートアルゴリズムを提案する。 DP-RGradで与えられる推定器は、微分プライバシーというより弱い概念において最適収束率に達することが示されている。
  論文  参考訳（メタデータ） (2024-03-24T03:57:21Z)
• Privately Estimating a Gaussian: Efficient, Robust and Optimal [6.901744415870126]
  純微分プライバシー(DP)モデルと近似微分プライバシー(DP)モデルの両方において、ガウス分布をプライベートに推定する効率的なアルゴリズムを提供する。 純粋なDP設定では、未知の$d$次元ガウス分布を任意の全変分誤差まで推定する効率的なアルゴリズムを与える。 平均推定の特別な場合、我々のアルゴリズムは$widetilde O(d1.5)$の最適なサンプル複雑性を達成し、以前の作業から$widetilde O(d1.5)$のバウンドを改善する。
  論文  参考訳（メタデータ） (2022-12-15T18:27:39Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors [59.33977545294148]
  O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。 この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:54Z)
• Differentially Private Federated Learning via Inexact ADMM [0.0]
  差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。 我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。 提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
  論文  参考訳（メタデータ） (2021-06-11T02:28:07Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Learning Halfspaces with Tsybakov Noise [50.659479930171585]
  テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。 真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
  論文  参考訳（メタデータ） (2020-06-11T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。