論文の概要: Gaussian Processes with Differential Privacy
- arxiv url: http://arxiv.org/abs/2106.00474v1
- Date: Tue, 1 Jun 2021 13:23:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 19:43:40.180074
- Title: Gaussian Processes with Differential Privacy
- Title(参考訳): 微分プライバシーを持つガウス過程
- Authors: Antti Honkela
- Abstract要約: 我々は、差分プライバシー(DP)を介して、ガウス過程(GP)に強力なプライバシー保護を加える。
我々は、スパースGP手法を用いて、既知の誘導点に関するプライベートな変分近似を公開することによってこれを達成した。
我々の実験は、十分な量のデータがあれば、強力なプライバシー保護下で正確なモデルを生成することができることを示した。
- 参考スコア(独自算出の注目度): 3.934224774675743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian processes (GPs) are non-parametric Bayesian models that are widely
used for diverse prediction tasks. Previous work in adding strong privacy
protection to GPs via differential privacy (DP) has been limited to protecting
only the privacy of the prediction targets (model outputs) but not inputs. We
break this limitation by introducing GPs with DP protection for both model
inputs and outputs. We achieve this by using sparse GP methodology and
publishing a private variational approximation on known inducing points. The
approximation covariance is adjusted to approximately account for the added
uncertainty from DP noise. The approximation can be used to compute arbitrary
predictions using standard sparse GP techniques. We propose a method for
hyperparameter learning using a private selection protocol applied to
validation set log-likelihood. Our experiments demonstrate that given
sufficient amount of data, the method can produce accurate models under strong
privacy protection.
- Abstract(参考訳): ガウス過程(英: Gaussian process、GP)は、様々な予測タスクに広く使用される非パラメトリックベイズモデルである。
ディファレンシャルプライバシ(dp)を通じてgpsに強力なプライバシ保護を追加する以前の作業は、入力ではなく、予測対象(モデル出力)のプライバシのみを保護することに限定されていた。
モデル入力と出力の両方に対してDP保護を備えたGPを導入することで、この制限を破る。
我々は, sparse gp法を用いて, 既知の誘導点に対するプライベートな変分近似を公表することでこれを実現する。
近似共分散は、DPノイズから付加された不確実性を考慮して調整される。
この近似は、標準スパースGP技術を用いて任意の予測を計算するために用いられる。
本稿では,検証セットのログ類似性に適用したプライベート選択プロトコルを用いたハイパーパラメータ学習手法を提案する。
我々の実験は、十分な量のデータがあれば、強力なプライバシー保護下で正確なモデルを生成することができることを示した。
関連論文リスト
- Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳(メタデータ) (2024-02-22T09:26:16Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Practical Privacy-Preserving Gaussian Process Regression via Secret
Sharing [23.80837224347696]
本稿では秘密共有(SS)に基づくプライバシー保護型GPR手法を提案する。
コンフュージョン補正(confusion-correction)というアイデアを通じて,新たなSSベースの指数演算を導出し,Cholesky分解に基づくSSベースの行列逆変換アルゴリズムを構築する。
実験結果から,データプライバシ保護の前提として,提案手法が妥当な精度と効率を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-06-26T08:17:51Z) - A Unified Approach to Differentially Private Bayes Point Estimation [7.599399338954307]
推定値にランダム化を導入して機密性を強制する,差分プライバシー(DP)が提案されている。
微分プライベート推定の標準的なアルゴリズムは、従来の点推定法の出力に適切な量の雑音を加えることに基づいている。
DP制約下でのデータ生成機構の未知パラメータのベイズ点推定に対する統一ベイズプライベートポイント(UBaPP)アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-18T16:42:49Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Individual Privacy Accounting for Differentially Private Stochastic
Gradient Descent [73.2635854205537]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳(メタデータ) (2021-07-04T06:55:45Z) - MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local
Cross-Validation [1.2233362977312945]
本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。
MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。
提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-29T18:10:21Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z) - Uncertainty quantification using martingales for misspecified Gaussian
processes [52.22233158357913]
本稿では,ガウス過程(GP)の不確定な定量化を,不特定先行条件下で解決する。
マルティンゲール法を用いて未知関数に対する信頼シーケンス(CS)を構築する。
我々のCSは統計的に有効であり、実証的に標準GP法より優れています。
論文 参考訳(メタデータ) (2020-06-12T17:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。