論文の概要: Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning

• arxiv url: http://arxiv.org/abs/2506.12553v1
• Date: Sat, 14 Jun 2025 15:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.423978
• Title: Beyond Laplace and Gaussian: Exploring the Generalized Gaussian Mechanism for Private Machine Learning
• Title（参考訳）: ラプラスとガウシアンを超えて - プライベート機械学習のための一般化ガウシアンメカニズムを探る
• Authors: Roy Rinberg, Ilia Shumailov, Vikrant Singhal, Rachel Cummings, Nicolas Papernot,
• Abstract要約: 一般化ガウス機構(英語版)を考察し、ある$beta geq 1$に対して$e-frac| x |sigmabeta $ に比例した付加雑音項 $x$ をサンプリングする。 GGメカニズムとその変種に対するプライバシ会計は独立であり、プライバシ会計の計算コストを大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 49.66162382667325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) is obtained by randomizing a data analysis algorithm, which necessarily introduces a tradeoff between its utility and privacy. Many DP mechanisms are built upon one of two underlying tools: Laplace and Gaussian additive noise mechanisms. We expand the search space of algorithms by investigating the Generalized Gaussian mechanism, which samples the additive noise term $x$ with probability proportional to $e^{-\frac{| x |}{\sigma}^{\beta} }$ for some $\beta \geq 1$. The Laplace and Gaussian mechanisms are special cases of GG for $\beta=1$ and $\beta=2$, respectively. In this work, we prove that all members of the GG family satisfy differential privacy, and provide an extension of an existing numerical accountant (the PRV accountant) for these mechanisms. We show that privacy accounting for the GG Mechanism and its variants is dimension independent, which substantially improves computational costs of privacy accounting. We apply the GG mechanism to two canonical tools for private machine learning, PATE and DP-SGD; we show empirically that $\beta$ has a weak relationship with test-accuracy, and that generally $\beta=2$ (Gaussian) is nearly optimal. This provides justification for the widespread adoption of the Gaussian mechanism in DP learning, and can be interpreted as a negative result, that optimizing over $\beta$ does not lead to meaningful improvements in performance.
• Abstract（参考訳）: 差分プライバシー(DP)は、データ分析アルゴリズムをランダムにすることで得られる。 多くのDPメカニズムは、Laplace と Gaussian の加法的ノイズメカニズムの2つの基盤となるツールの1つの上に構築されている。 一般化ガウス機構は、ある$\beta \geq 1$に対して$e^{-\frac{| x |}{\sigma}^{\beta} }$に比例する付加ノイズ項$x$をサンプリングする。 Laplace と Gaussian のメカニズムは、それぞれ $\beta=1$ と $\beta=2$ に対して GG の特別な場合である。 本研究では,GGファミリーのすべてのメンバが差分プライバシを満たすことを証明し,これらのメカニズムに対する既存の数値会計士(PRV会計士)の拡張を提供する。 GGメカニズムとその変種に対するプライバシ会計は次元独立であり、プライバシ会計の計算コストを大幅に向上させることを示す。 我々は、プライベート機械学習のための2つの標準ツールであるPATEとDP-SGDにGGメカニズムを適用し、$\beta$はテスト精度と弱い関係にあり、一般に$\beta=2$(ガウス)はほぼ最適であることを示した。 これは、DP学習においてガウスのメカニズムが広く採用されていることの正当化であり、$\beta$を超える最適化がパフォーマンスの有意義な改善に繋がらないという否定的な結果と解釈できる。

関連論文リスト

• Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
  微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。 純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。 本稿では,総和,数,投票の単純な統計量について両問題を解く。
  論文  参考訳（メタデータ） (2023-09-27T17:09:36Z)
• The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning [7.61316504036937]
  差分プライバシーは、プライバシに敏感なデータに対する機械学習(ML)の最も一般的な方法である。 ビッグデータ分析では、ランダム化されたスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
  論文  参考訳（メタデータ） (2023-09-03T19:07:31Z)
• General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation [58.03500081540042]
  プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。 すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:47:42Z)
• Faster Privacy Accounting via Evolving Discretization [54.32252900997422]
  プライバシランダム変数の数値合成のための新しいアルゴリズムを提案する。 本アルゴリズムは,メカニズムを自己コンパイルするタスクに対して,$mathrmpolylog(k)$の実行時間とメモリ使用量を達成する。
  論文  参考訳（メタデータ） (2022-07-10T04:25:37Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Covariance-Aware Private Mean Estimation Without Private Covariance Estimation [10.036088581191592]
  2つのサンプル係数差分プライベート平均推定器を$d$-dimensional(sub)Gaussian分布に対して提案する。 我々の推定子は、$| tildemu - mu |_Sigma leq alpha$, where $| cdot |_Sigma$がマハラノビス距離であるような$tildemu$を出力します。
  論文  参考訳（メタデータ） (2021-06-24T21:40:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。