論文の概要: Differentially Private Kernel Inducing Points (DP-KIP) for
Privacy-preserving Data Distillation
- arxiv url: http://arxiv.org/abs/2301.13389v1
- Date: Tue, 31 Jan 2023 03:38:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 17:42:12.151153
- Title: Differentially Private Kernel Inducing Points (DP-KIP) for
Privacy-preserving Data Distillation
- Title(参考訳): プライバシー保護データ蒸留のための個人カーネル誘導点(DP-KIP)
- Authors: Margarita Vinaroz and Mi Jung Park
- Abstract要約: 我々は、DP-KIP(differentially private kernel inducing points)と呼ばれる、実証可能なプライバシー保護データ蒸留アルゴリズムを開発した。
DP-KIPは、カーネルリッジ回帰(KRR)におけるDP-SGDのインスタンス化である
- 参考スコア(独自算出の注目度): 7.043531451435607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While it is tempting to believe that data distillation preserves privacy,
distilled data's empirical robustness against known attacks does not imply a
provable privacy guarantee. Here, we develop a provably privacy-preserving data
distillation algorithm, called differentially private kernel inducing points
(DP-KIP). DP-KIP is an instantiation of DP-SGD on kernel ridge regression
(KRR). Following a recent work, we use neural tangent kernels and minimize the
KRR loss to estimate the distilled datapoints (i.e., kernel inducing points).
We provide a computationally efficient JAX implementation of DP-KIP, which we
test on several popular image and tabular datasets to show its efficacy in data
distillation with differential privacy guarantees.
- Abstract(参考訳): データ蒸留はプライバシーを守ると信じがちだが、既知の攻撃に対するデータ蒸留の実証的堅牢性は、証明可能なプライバシー保証を意味するものではない。
本稿では,DP-KIP(differentially private kernel inducing points)と呼ばれる,プライバシー保護のためのデータ蒸留アルゴリズムを開発した。
DP-KIPは、カーネルリッジ回帰(KRR)におけるDP-SGDのインスタンス化である。
最近の研究の後、我々はニューラルネットワークカーネルを用いてKRR損失を最小限に抑え、蒸留したデータポイント(カーネル誘導点)を推定する。
我々はDP-KIPの計算効率の良いJAX実装を提供し、いくつかの一般的な画像および表形式のデータセットを用いて、差分プライバシー保証付きデータ蒸留の有効性を示す。
関連論文リスト
- Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。
本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
論文 参考訳(メタデータ) (2024-03-07T21:22:07Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - On the Inherent Privacy Properties of Discrete Denoising Diffusion
Models [18.664592314630887]
本稿では、離散拡散モデルに固有のプライバシー保護の先駆的な理論的探索について述べる。
我々のフレームワークは、トレーニングデータセット内の各データポイントの潜在的なプライバシー漏洩を解明する。
当社のバウンダリは、$$$サイズのデータポイントによるトレーニングが、プライバシー漏洩の急増につながっていることも示しています。
論文 参考訳(メタデータ) (2023-10-24T05:07:31Z) - Practical Privacy-Preserving Gaussian Process Regression via Secret
Sharing [23.80837224347696]
本稿では秘密共有(SS)に基づくプライバシー保護型GPR手法を提案する。
コンフュージョン補正(confusion-correction)というアイデアを通じて,新たなSSベースの指数演算を導出し,Cholesky分解に基づくSSベースの行列逆変換アルゴリズムを構築する。
実験結果から,データプライバシ保護の前提として,提案手法が妥当な精度と効率を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-06-26T08:17:51Z) - On Mitigating the Utility-Loss in Differentially Private Learning: A new
Perspective by a Geometrically Inspired Kernel Approach [2.4253452809863116]
本稿では、分類における精度-損失問題を緩和するために、幾何学的にインスパイアされたカーネルベースのアプローチを提案する。
与えられたデータ点のアフィン殻の表現は、再生ケルネルヒルベルト空間(RKHS)で学習される
このアプローチの有効性は、MNISTデータセット、フライブルク食料品データセット、本物のバイオメディカルデータセットの実験を通じて実証される。
論文 参考訳(メタデータ) (2023-04-03T18:52:01Z) - Directional Privacy for Deep Learning [2.826489388853448]
Differentially Private Gradient Descent (DP-SGD)は、ディープラーニングモデルのトレーニングにプライバシーを適用するための重要な方法である。
しかし、メトリックDPは、ユーティリティの保存にもっと適した任意のメトリクスに基づいた代替メカニズムを提供することができる。
これは、ガウスのメカニズムの$(epsilon, delta)$-privacyではなく、ディープラーニングのトレーニングに$epsilon$-DPと$epsilon d$-privacyを提供することを示している。
論文 参考訳(メタデータ) (2022-11-09T05:18:08Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Individual Privacy Accounting for Differentially Private Stochastic
Gradient Descent [73.2635854205537]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Partial sensitivity analysis in differential privacy [58.730520380312676]
それぞれの入力特徴が個人のプライバシ損失に与える影響について検討する。
プライベートデータベース上でのクエリに対する我々のアプローチを実験的に評価する。
また、合成データにおけるニューラルネットワークトレーニングの文脈における知見についても検討する。
論文 参考訳(メタデータ) (2021-09-22T08:29:16Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。