論文の概要: "What do you want from theory alone?" Experimenting with Tight Auditing of Differentially Private Synthetic Data Generation
- arxiv url: http://arxiv.org/abs/2405.10994v1
- Date: Thu, 16 May 2024 14:23:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 19:56:17.853758
- Title: "What do you want from theory alone?" Experimenting with Tight Auditing of Differentially Private Synthetic Data Generation
- Title（参考訳）: 「理論だけで何が欲しいか」 : 個人差分データ生成の厳密な監査実験
- Authors: Meenatchi Sundaram Muthu Selva Annamalai, Georgi Ganev, Emiliano De Cristofaro,
- Abstract要約: 差分プライベートな合成データ生成アルゴリズムを監査する。
我々は、識別ゲームやメンバーシップ推論攻撃を行う相手を介して情報漏洩を計算する。
私たちは現在、DP-SDGからのプライバシー漏洩を厳格に見積もるために、ホワイトボックスMIAだけでなく最悪のデータセットも必要としています。
- 参考スコア（独自算出の注目度）: 11.900523702759598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentially private synthetic data generation (DP-SDG) algorithms are used to release datasets that are structurally and statistically similar to sensitive data while providing formal bounds on the information they leak. However, bugs in algorithms and implementations may cause the actual information leakage to be higher. This prompts the need to verify whether the theoretical guarantees of state-of-the-art DP-SDG implementations also hold in practice. We do so via a rigorous auditing process: we compute the information leakage via an adversary playing a distinguishing game and running membership inference attacks (MIAs). If the leakage observed empirically is higher than the theoretical bounds, we identify a DP violation; if it is non-negligibly lower, the audit is loose. We audit six DP-SDG implementations using different datasets and threat models and find that black-box MIAs commonly used against DP-SDGs are severely limited in power, yielding remarkably loose empirical privacy estimates. We then consider MIAs in stronger threat models, i.e., passive and active white-box, using both existing and newly proposed attacks. Overall, we find that, currently, we do not only need white-box MIAs but also worst-case datasets to tightly estimate the privacy leakage from DP-SDGs. Finally, we show that our automated auditing procedure finds both known DP violations (in 4 out of the 6 implementations) as well as a new one in the DPWGAN implementation that was successfully submitted to the NIST DP Synthetic Data Challenge. The source code needed to reproduce our experiments is available from https://github.com/spalabucr/synth-audit.
- Abstract（参考訳）: 差分的にプライベートな合成データ生成(DP-SDG)アルゴリズムは、機密データと構造的に統計的に類似したデータセットをリリースし、漏洩した情報に公式なバウンダリを提供する。
しかし、アルゴリズムや実装のバグにより、実際の情報漏洩がより高くなる可能性がある。
これにより、最先端のDP-SDG実装の理論的保証が実際に行われているかどうかを確認する必要が生じる。
我々は、厳格な監査プロセスを通じて、敵が差別ゲームをし、メンバーシップ推論アタック(MIA)を実行することで、情報漏洩を計算します。
経験的に観察された漏洩が理論的境界よりも高い場合、DP違反を識別し、非無視的に低い場合、監査は緩い。
異なるデータセットと脅威モデルを用いてDP-SDGの6つの実装を監査し、DP-SDGに対して一般的に使用されるブラックボックスMIAは、非常に消費電力が限られており、極めて緩やかな経験的プライバシ推定が得られることを発見した。
次に、MIAをより強力な脅威モデル、すなわちパッシブでアクティブなホワイトボックスとして、既存の攻撃と新しく提案された攻撃の両方を用いて検討する。
全体として、現在、DP-SDGからのプライバシー漏洩を厳格に見積もるために、ホワイトボックスMIAだけでなく最悪のデータセットも必要としています。
最後に,NIST DP Synthetic Data Challenge に提案したDPWGAN 実装において,DP の違反(6実装中4実装中4)と,DPWGAN 実装における新たな違反が報告された。
実験を再現するために必要なソースコードはhttps://github.com/spalabucr/synth-audit.comから入手できる。
関連論文リスト
- To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
シャッフル法を用いてDP-SGDを解析した。
プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。
我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
論文 参考訳（メタデータ） (2024-11-15T22:34:28Z) - Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳（メタデータ） (2024-04-24T06:51:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳（メタデータ） (2024-02-22T09:26:16Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳（メタデータ） (2023-02-24T11:27:39Z) - Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。
バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。
具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
論文 参考訳（メタデータ） (2022-08-04T05:32:20Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - What You See is What You Get: Distributional Generalization for
Algorithm Design in Deep Learning [12.215964287323876]
微分プライバシー(DP)と分布一般化(DG)の概念の関連性について検討・活用する。
我々は、標準勾配降下(SGD)の「病理」をバイパスするディープラーニング手法を設計するための新しい概念ツールを導入する。
論文 参考訳（メタデータ） (2022-04-07T05:41:40Z) - DTGAN: Differential Private Training for Tabular GANs [6.174448419090292]
本稿では,DTGAN_GとDTGAN_Dの2つの変種からなる条件付きワッサースタインGANであるDTGANを提案する。
我々は,DPの理論的プライバシー保証を,メンバーシップや属性推論攻撃に対して実証的に評価する。
その結果,DP-SGD フレームワークは PATE よりも優れており,DP 判別器の方が訓練収束に最適であることが示唆された。
論文 参考訳（メタデータ） (2021-07-06T10:28:05Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。