論文の概要: Differentially Private Estimation via Statistical Depth
- arxiv url: http://arxiv.org/abs/2207.12602v1
- Date: Tue, 26 Jul 2022 01:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:36:09.798502
- Title: Differentially Private Estimation via Statistical Depth
- Title(参考訳): 統計的深度による個人差分推定
- Authors: Ryan Cumings-Menon
- Abstract要約: 統計深度という2つの概念は、新しい近似DP位置と回帰推定器の動機付けに使用される。
推定値および/または観測値の事前境界をユーザが指定することを避けるため、これらのDP機構の変種を記述する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constructing a differentially private (DP) estimator requires deriving the
maximum influence of an observation, which can be difficult in the absence of
exogenous bounds on the input data or the estimator, especially in high
dimensional settings. This paper shows that standard notions of statistical
depth, i.e., halfspace depth and regression depth, are particularly
advantageous in this regard, both in the sense that the maximum influence of a
single observation is easy to analyze and that this value is typically low.
This is used to motivate new approximate DP location and regression estimators
using the maximizers of these two notions of statistical depth. A more
computationally efficient variant of the approximate DP regression estimator is
also provided. Also, to avoid requiring that users specify a priori bounds on
the estimates and/or the observations, variants of these DP mechanisms are
described that satisfy random differential privacy (RDP), which is a relaxation
of differential privacy provided by Hall, Wasserman, and Rinaldo (2013). We
also provide simulations of the two DP regression methods proposed here. The
proposed estimators appear to perform favorably relative to the existing DP
regression methods we consider in these simulations when either the sample size
is at least 100-200 or the privacy-loss budget is sufficiently high.
- Abstract(参考訳): 微分プライベート(dp)推定器を構築するには、観測の最大影響を導出する必要があるが、入力データや推定器に外因的境界がない場合、特に高次元の設定では困難である。
本稿では,統計深度の標準概念,すなわち半空間深さと回帰深さは,単一観測の最大影響が解析しやすく,この値が一般に低いという観点から,特に有利であることを示す。
これは、統計深度の2つの概念の最大値を用いて、新しい近似dp位置と回帰推定子を動機付けるために使用される。
近似DP回帰推定器のより計算効率の良い変種も提供される。
また、推定値や観測値の事前境界をユーザが指定することを避けるため、Hal, Wasserman, Rinaldo (2013)が提供する差分プライバシーの緩和であるランダム差分プライバシー(RDP)を満たすDP機構の変種を記述した。
提案する2つのDP回帰手法のシミュレーションも提供する。
提案手法は, サンプルサイズが100~200以上である場合や, プライバシロス予算が十分に高い場合, 既存のDP回帰手法と比較して良好に動作すると考えられる。
関連論文リスト
- A Mean Field Approach to Empirical Bayes Estimation in High-dimensional
Linear Regression [8.345523969593492]
高次元線形回帰における経験的ベイズ推定について検討する。
もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。
これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
論文 参考訳(メタデータ) (2023-09-28T20:51:40Z) - Quantifying predictive uncertainty of aphasia severity in stroke
patients with sparse heteroscedastic Bayesian high-dimensional regression [49.504432873468254]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳(メタデータ) (2023-09-15T22:06:29Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳(メタデータ) (2023-08-23T09:20:41Z) - Robust Bayesian Subspace Identification for Small Data Sets [91.3755431537592]
分散効果を低減するため,正規化推定器,縮小推定器,ベイズ推定器を提案する。
実験の結果,提案した推定器は従来の部分空間法よりも40%のコストで推定リスクを低減できることがわかった。
論文 参考訳(メタデータ) (2022-12-29T00:29:04Z) - DPVIm: Differentially Private Variational Inference Improved [13.761202518891329]
多次元統計学の微分プライベート(DP)リリースは、一般的に集合感度を考える。
そのベクトルの次元は様々であり、従ってDP摂動は次元をまたいだ信号に不均等に影響を及ぼす。
変分推論(VI)に用いた場合、DP-SGDアルゴリズムの勾配解法でこの問題を観測する(VI)。
論文 参考訳(メタデータ) (2022-10-28T07:41:32Z) - Differentially Private Bootstrap: New Privacy Analysis and Inference
Strategies [28.95350475681164]
統計解析手法にランダム性を導入することにより、個人レベルの情報を保護する。
サンプリング分布を推定し、信頼区間(CI)を構築するために、複数のプライベートブートストラップ推定を解放するDPブートストラップ手順を検討する。
筆者らのプライバシー分析では,DPブートストラップ推定のプライバシコストに関する新たな結果を示し,既存の文献におけるブートストラップの誤用を識別する。
論文 参考訳(メタデータ) (2022-10-12T12:48:25Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - On Variance Estimation of Random Forests [0.0]
本稿では,不完全U-統計量に基づく不偏分散推定器を開発する。
我々は,計算コストを増大させることなく,より低いバイアスとより正確な信頼区間のカバレッジを評価できることを示した。
論文 参考訳(メタデータ) (2022-02-18T03:35:47Z) - Three Variants of Differential Privacy: Lossless Conversion and
Applications [13.057076084452016]
本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。
まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。
アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
論文 参考訳(メタデータ) (2020-08-14T18:23:50Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z) - On Projection Robust Optimal Transport: Sample Complexity and Model
Misspecification [101.0377583883137]
射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。
私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。
次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
論文 参考訳(メタデータ) (2020-06-22T14:35:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。