論文の概要: General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation

• arxiv url: http://arxiv.org/abs/2301.13850v2
• Date: Wed, 20 Dec 2023 19:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 19:34:01.623461
• Title: General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation
• Title（参考訳）: 一般ガウス雑音機構と非バイアス平均推定の最適性
• Authors: Aleksandar Nikolov and Haohua Tang
• Abstract要約: プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。 すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 58.03500081540042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate unbiased high-dimensional mean estimators in differential privacy. We consider differentially private mechanisms whose expected output equals the mean of the input dataset, for every dataset drawn from a fixed bounded $d$-dimensional domain $K$. A classical approach to private mean estimation is to compute the true mean and add unbiased, but possibly correlated, Gaussian noise to it. In the first part of this paper, we study the optimal error achievable by a Gaussian noise mechanism for a given domain $K$ when the error is measured in the $\ell_p$ norm for some $p \ge 2$. We give algorithms that compute the optimal covariance for the Gaussian noise for a given $K$ under suitable assumptions, and prove a number of nice geometric properties of the optimal error. These results generalize the theory of factorization mechanisms from domains $K$ that are symmetric and finite (or, equivalently, symmetric polytopes) to arbitrary bounded domains. In the second part of the paper we show that Gaussian noise mechanisms achieve nearly optimal error among all private unbiased mean estimation mechanisms in a very strong sense. In particular, for every input dataset, an unbiased mean estimator satisfying concentrated differential privacy introduces approximately at least as much error as the best Gaussian noise mechanism. We extend this result to local differential privacy, and to approximate differential privacy, but for the latter the error lower bound holds either for a dataset or for a neighboring dataset, and this relaxation is necessary.
• Abstract（参考訳）: 偏りのない高次元平均推定器を微分プライバシーで検討する。 固定有界領域$d$-dimensional 領域$K$から引き出されたすべてのデータセットに対して、期待出力が入力データセットの平均値に等しいような、微分プライベートなメカニズムを考える。 プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。 本論文の第1部では、与えられた領域に対してガウスノイズ機構により達成可能な最適誤差を、いくつかの$p \ge 2$に対して$\ell_p$ノルムで測定した場合に検討する。 最適な仮定の下で与えられた$k$ に対するガウス雑音の最適共分散を計算するアルゴリズムを与え、最適誤差の幾何的性質をいくつも証明する。 これらの結果は、対称かつ有限(あるいは同値な対称ポリトープ)の領域 $k$ から任意の有界な領域への分解機構の理論を一般化する。 論文の第2部では、ガウス雑音機構が、非常に強い意味で、全てのプライベートな非バイアス平均推定機構の中でほぼ最適な誤差を達成することを示す。 特に、全ての入力データセットに対して、集中した差分プライバシーを満たす非バイアス平均推定器は、最高のガウス雑音機構と同じくらいの誤差をもたらす。 この結果を局所的な差分プライバシーに拡張し、差分プライバシーを近似するが、後者の場合、エラーの下位境界はデータセットか近隣のデータセットに保持され、この緩和が必要である。

関連論文リスト

• Some Constructions of Private, Efficient, and Optimal $K$-Norm and Elliptic Gaussian Noise [54.34628844260993]
  微分プライベートな計算は、しばしば$d$次元統計学の感度に束縛されて始まる。 純粋な微分プライバシーのために、$K$-normメカニズムは統計学の感度空間に合わせた規範を用いてこのアプローチを改善することができる。 本稿では,総和,数,投票の単純な統計量について両問題を解く。
  論文  参考訳（メタデータ） (2023-09-27T17:09:36Z)
• Private Covariance Approximation and Eigenvalue-Gap Bounds for Complex Gaussian Perturbations [28.431572772564518]
  この機構によって出力される行列と最高ランクの$k$の近似との差のフロベニウスノルムが、およそ$tildeO(sqrtkd)$で有界であることを示す。 これは、$M$のすべてのトップ-$k$固有値間のギャップが、同じ境界に対して少なくとも$sqrtd$であることを要求する以前の作業を改善する。
  論文  参考訳（メタデータ） (2023-06-29T03:18:53Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Differentially private multivariate medians [4.588028371034407]
  差分的にプライベートな深度に基づく中央値に対する新しい有限サンプル性能保証法を開発した。 Cauchyの限界の下では、重み付けされた位置推定のコストがプライバシーのコストよりも高いことを示している。
  論文  参考訳（メタデータ） (2022-10-12T17:56:04Z)
• Optimal Algorithms for Mean Estimation under Local Differential Privacy [55.32262879188817]
  そこで本研究では,PrivUnitが局所的プライベートな乱数化器群間の最適分散を実現することを示す。 また,ガウス分布に基づくPrivUnitの新たな変種も開発しており,数学的解析に適しており,同じ最適性保証を享受できる。
  論文  参考訳（メタデータ） (2022-05-05T06:43:46Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Covariance-Aware Private Mean Estimation Without Private Covariance Estimation [10.036088581191592]
  2つのサンプル係数差分プライベート平均推定器を$d$-dimensional(sub)Gaussian分布に対して提案する。 我々の推定子は、$| tildemu - mu |_Sigma leq alpha$, where $| cdot |_Sigma$がマハラノビス距離であるような$tildemu$を出力します。
  論文  参考訳（メタデータ） (2021-06-24T21:40:07Z)
• Strongly universally consistent nonparametric regression and classification with privatised data [2.879036956042183]
  非パラメトリック回帰の古典的問題を再考するが、局所的な差分プライバシー制約を課す。 我々は回帰関数の新しい推定器を設計し、よく研究された分割回帰推定器の民営版とみなすことができる。
  論文  参考訳（メタデータ） (2020-10-31T09:00:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。