論文の概要: A Bias-Variance-Privacy Trilemma for Statistical Estimation
- arxiv url: http://arxiv.org/abs/2301.13334v1
- Date: Mon, 30 Jan 2023 23:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 18:20:24.738552
- Title: A Bias-Variance-Privacy Trilemma for Statistical Estimation
- Title(参考訳): 統計的推定のためのバイアス変数生産性トリレンマ
- Authors: Gautam Kamath, Argyris Mouzakis, Matthew Regehr, Vikrant Singhal,
Thomas Steinke, Jonathan Ullman
- Abstract要約: 任意の分布に対して低バイアス,低分散,低プライバシ損失を同時に有するアルゴリズムは存在しないことを実証する。
分布が対称であると仮定した場合、近似差分プライバシーの下では、偏りのない平均推定が可能であることを示す。
- 参考スコア(独自算出の注目度): 19.548528664406874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The canonical algorithm for differentially private mean estimation is to
first clip the samples to a bounded range and then add noise to their empirical
mean. Clipping controls the sensitivity and, hence, the variance of the noise
that we add for privacy. But clipping also introduces statistical bias. We
prove that this tradeoff is inherent: no algorithm can simultaneously have low
bias, low variance, and low privacy loss for arbitrary distributions.
On the positive side, we show that unbiased mean estimation is possible under
approximate differential privacy if we assume that the distribution is
symmetric. Furthermore, we show that, even if we assume that the data is
sampled from a Gaussian, unbiased mean estimation is impossible under pure or
concentrated differential privacy.
- Abstract(参考訳): 差分的平均推定のための標準アルゴリズムは、まずサンプルを有界範囲にクリップし、次いで経験的な平均値にノイズを加える。
クリップは感度を制御し、したがってプライバシーのために付加するノイズのばらつきを制御します。
しかし、クリッピングは統計バイアスをもたらす。
我々は、このトレードオフが本質的に存在することを証明している: 任意の分布に対してバイアスが低く、分散が低く、プライバシー損失が低くなるアルゴリズムは存在しない。
正の面では、分布が対称であると仮定すると、偏りのない平均推定は近似微分プライバシーの下で可能であることを示す。
さらに, データがガウス系からサンプリングされていると仮定しても, 純あるいは集中的な微分プライバシーでは, 偏りのない平均推定は不可能であることを示す。
関連論文リスト
- Differentially private projection-depth-based medians [0.0]
提案手法(PTR)と指数関数機構を用いて,$(epsilon,delta)$differentially private projection-depth-based mediansを開発した。
PTRにおけるテストが失敗する確率と、有限サンプル偏差によるプライバシコストを定量化する。
論文 参考訳(メタデータ) (2023-12-12T23:17:29Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean
Estimation [58.03500081540042]
プライベート平均推定に対する古典的なアプローチは、真の平均を計算し、バイアスのないがおそらく相関のあるガウスノイズを加えることである。
すべての入力データセットに対して、集中的な差分プライバシーを満たす非バイアス平均推定器が、少なくとも多くのエラーをもたらすことを示す。
論文 参考訳(メタデータ) (2023-01-31T18:47:42Z) - Optimizing the Noise in Self-Supervised Learning: from Importance
Sampling to Noise-Contrastive Estimation [80.07065346699005]
GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。
我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。
本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
論文 参考訳(メタデータ) (2023-01-23T19:57:58Z) - On Uncertainty, Tempering, and Data Augmentation in Bayesian
Classification [47.13680267076843]
本研究では,アレータティック不確実性の明示的説明がベイズニューラルネットワークの性能を著しく向上させることを示す。
寒冷な後部は一つ以上の力によって誘惑され、しばしばより率直に言って、誘惑を伴わないよりもエレタリックな不確実性についての私たちの信念を反映している。
論文 参考訳(メタデータ) (2022-03-30T17:17:50Z) - The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。
特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
論文 参考訳(メタデータ) (2022-03-02T13:59:20Z) - Differential Privacy of Dirichlet Posterior Sampling [0.0]
ディリクレ後部分布から1枚のドローを放出する固有のプライバシーについて検討する。
トランカットされた集中微分プライバシー(tCDP)の概念により、ディリクレ後方サンプリングの単純なプライバシー保証を導き出すことができる。
論文 参考訳(メタデータ) (2021-10-03T07:41:19Z) - Non-parametric Differentially Private Confidence Intervals for the
Median [3.205141100055992]
本稿では,中央値に対する有意な個人的信頼区間を計算するためのいくつかの戦略を提案し,評価する。
また、サンプリングからのエラーと出力の保護からのエラーという2つの不確実性源に対処することが、この不確実性を逐次的に組み込んだ単純なアプローチよりも望ましいことを示す。
論文 参考訳(メタデータ) (2021-06-18T19:45:37Z) - Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy
Amplification by Shuffling [49.43288037509783]
ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。
私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
論文 参考訳(メタデータ) (2020-12-23T17:07:26Z) - The Discrete Gaussian for Differential Privacy [23.977143445822897]
微分プライベートシステムを構築するための重要なツールは、機密データセットで評価された関数の出力にガウスノイズを追加することである。
これまでの研究は、一見無害な数値エラーがプライバシーを完全に破壊することを示した。
差分プライバシーの文脈において、離散ガウシアンを導入・分析する。
論文 参考訳(メタデータ) (2020-03-31T18:00:00Z) - Propose, Test, Release: Differentially private estimation with high
probability [9.25177374431812]
我々はPTR機構の新たな一般バージョンを導入し、微分プライベートな推定器に対して高い確率誤差境界を導出する。
我々のアルゴリズムは、データ上の有界性仮定なしで中央値と平均値の差分プライベートな推定を行うための最初の統計的保証を提供する。
論文 参考訳(メタデータ) (2020-02-19T01:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。