論文の概要: A Cautionary Tale: On the Role of Reference Data in Empirical Privacy
Defenses
- arxiv url: http://arxiv.org/abs/2310.12112v1
- Date: Wed, 18 Oct 2023 17:07:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 15:37:34.918411
- Title: A Cautionary Tale: On the Role of Reference Data in Empirical Privacy
Defenses
- Title(参考訳): 注意物語: 実証的プライバシー防衛における参照データの役割について
- Authors: Caelin G. Kaplan, Chuan Xu, Othmane Marfoq, Giovanni Neglia, Anderson
Santana de Oliveira
- Abstract要約: 本稿では,トレーニングデータと参照データの両方に関して,ユーティリティプライバシトレードオフを容易に理解可能なベースラインディフェンスを提案する。
私たちの実験では、驚くべきことに、最もよく研究され、現在最先端の実証的なプライバシー保護よりも優れています。
- 参考スコア(独自算出の注目度): 12.34501903200183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Within the realm of privacy-preserving machine learning, empirical privacy
defenses have been proposed as a solution to achieve satisfactory levels of
training data privacy without a significant drop in model utility. Most
existing defenses against membership inference attacks assume access to
reference data, defined as an additional dataset coming from the same (or a
similar) underlying distribution as training data. Despite the common use of
reference data, previous works are notably reticent about defining and
evaluating reference data privacy. As gains in model utility and/or training
data privacy may come at the expense of reference data privacy, it is essential
that all three aspects are duly considered. In this paper, we first examine the
availability of reference data and its privacy treatment in previous works and
demonstrate its necessity for fairly comparing defenses. Second, we propose a
baseline defense that enables the utility-privacy tradeoff with respect to both
training and reference data to be easily understood. Our method is formulated
as an empirical risk minimization with a constraint on the generalization
error, which, in practice, can be evaluated as a weighted empirical risk
minimization (WERM) over the training and reference datasets. Although we
conceived of WERM as a simple baseline, our experiments show that,
surprisingly, it outperforms the most well-studied and current state-of-the-art
empirical privacy defenses using reference data for nearly all relative privacy
levels of reference and training data. Our investigation also reveals that
these existing methods are unable to effectively trade off reference data
privacy for model utility and/or training data privacy. Overall, our work
highlights the need for a proper evaluation of the triad model utility /
training data privacy / reference data privacy when comparing privacy defenses.
- Abstract(参考訳): プライバシ保存機械学習の領域では、モデルユーティリティを損なうことなく、十分なレベルのデータプライバシトレーニングを実現するためのソリューションとして、経験的プライバシ防御が提案されている。
既存のメンバシップ推論攻撃に対する防御は、トレーニングデータと同じ(あるいは同様の)基盤となる分散から来る追加データセットとして定義された参照データへのアクセスを前提としている。
参照データの一般的な使用にもかかわらず、以前の研究は参照データのプライバシの定義と評価に特に関心がある。
モデルユーティリティおよび/またはトレーニングデータのプライバシが参照データのプライバシの犠牲になる可能性があるため、これら3つの側面を十分に検討することが不可欠である。
本稿では,先行研究における参照データの利用状況とプライバシ処理について検討し,その妥当性を検証した。
第2に,トレーニングと参照データの両方に関して,ユーティリティプライバシトレードオフを容易に理解可能なベースラインディフェンスを提案する。
本手法は, 一般化誤差を制約した経験的リスク最小化法として定式化され, 実例ではトレーニングおよび参照データセットよりも重み付けされた経験的リスク最小化法(WERM)として評価できる。
私たちはWERMを単純なベースラインとして考えましたが、驚くべきことに、ほぼすべての相対プライバシーレベルの参照データとトレーニングデータに対して、最もよく研究され、現在最先端の実証的なプライバシ保護よりも優れています。
また,既存の手法では,モデルユーティリティやトレーニングデータプライバシに対して,参照データプライバシを効果的にトレードオフできないことも明らかにした。
全体として、当社の研究は、プライバシ保護の比較において、トリアドモデルユーティリティ/トレーニングデータプライバシ/参照データプライバシの適切な評価の必要性を強調しています。
関連論文リスト
- On the Inadequacy of Similarity-based Privacy Metrics: Reconstruction
Attacks against "Truly Anonymous Synthetic Data'' [15.0393231456773]
私たちはこの分野の有力企業が提供するプライバシー指標をレビューし、実証的な評価を通じて、プライバシーを推論する上でいくつかの重大な欠陥を指摘しました。
我々は,低密度の列車記録(または降車率)の少なくとも78%をブラックボックスで回復し,単一の生成モデルとプライバシメトリクスにのみアクセスする再構成攻撃ReconSynを提案する。
論文 参考訳(メタデータ) (2023-12-08T15:42:28Z) - $\alpha$-Mutual Information: A Tunable Privacy Measure for Privacy
Protection in Data Sharing [4.475091558538915]
本稿では, 有基の$alpha$-Mutual Informationを調整可能なプライバシ尺度として採用する。
我々は、プライバシ保護を提供するためにオリジナルのデータを操作するための一般的な歪みに基づくメカニズムを定式化する。
論文 参考訳(メタデータ) (2023-10-27T16:26:14Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z) - Considerations for Differentially Private Learning with Large-Scale
Public Pretraining [58.75893136929649]
大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。
Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。
公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
論文 参考訳(メタデータ) (2022-12-13T10:41:12Z) - Analyzing Privacy Leakage in Machine Learning via Multiple Hypothesis
Testing: A Lesson From Fano [83.5933307263932]
本研究では,離散データに対するデータ再構成攻撃について検討し,仮説テストの枠組みの下で解析する。
基礎となるプライベートデータが$M$のセットから値を取ると、ターゲットのプライバシパラメータ$epsilon$が$O(log M)$になる。
論文 参考訳(メタデータ) (2022-10-24T23:50:12Z) - Certified Data Removal in Sum-Product Networks [78.27542864367821]
収集したデータの削除は、データのプライバシを保証するのに不十分であることが多い。
UnlearnSPNは、訓練された総生産ネットワークから単一データポイントの影響を取り除くアルゴリズムである。
論文 参考訳(メタデータ) (2022-10-04T08:22:37Z) - No Free Lunch in "Privacy for Free: How does Dataset Condensation Help
Privacy" [75.98836424725437]
データプライバシを保護するために設計された新しい手法は、慎重に精査する必要がある。
プライバシ保護の失敗は検出し難いが,プライバシ保護法を実装したシステムが攻撃された場合,破滅的な結果につながる可能性がある。
論文 参考訳(メタデータ) (2022-09-29T17:50:23Z) - Personalized PATE: Differential Privacy for Machine Learning with
Individual Privacy Guarantees [1.2691047660244335]
トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。
実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
論文 参考訳(メタデータ) (2022-02-21T20:16:27Z) - Towards a Data Privacy-Predictive Performance Trade-off [2.580765958706854]
分類タスクにおけるデータプライバシと予測性能のトレードオフの存在を評価する。
従来の文献とは異なり、プライバシーのレベルが高ければ高いほど、予測性能が向上することを確認した。
論文 参考訳(メタデータ) (2022-01-13T21:48:51Z) - Distributed Machine Learning and the Semblance of Trust [66.1227776348216]
フェデレートラーニング(FL)により、データ所有者はデータを共有することなく、データガバナンスを維持し、モデルトレーニングをローカルで行うことができる。
FLと関連する技術は、しばしばプライバシー保護と表現される。
この用語が適切でない理由を説明し、プライバシの形式的定義を念頭に設計されていないプロトコルに対する過度な信頼に関連するリスクを概説する。
論文 参考訳(メタデータ) (2021-12-21T08:44:05Z) - Practical Privacy Preserving POI Recommendation [26.096197310800328]
本稿では,プライバシ保護のためのPOI勧告(PriRec)フレームワークを提案する。
PriRecは、ユーザのプライベートな生データとモデルを自身の手で保持し、ユーザのプライバシを広範囲に保護する。
実世界のデータセットにPriRecを適用し、包括的な実験により、FMと比較すると、PriRecは同等またはそれ以上のレコメンデーション精度を達成した。
論文 参考訳(メタデータ) (2020-03-05T06:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。