論文の概要: Systematic Evaluation of Privacy Risks of Machine Learning Models
- arxiv url: http://arxiv.org/abs/2003.10595v2
- Date: Wed, 9 Dec 2020 18:56:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 08:32:02.202635
- Title: Systematic Evaluation of Privacy Risks of Machine Learning Models
- Title（参考訳）: 機械学習モデルにおけるプライバシーリスクの体系的評価
- Authors: Liwei Song, Prateek Mittal
- Abstract要約: メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。
まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。
次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
- 参考スコア（独自算出の注目度）: 41.017707772150835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are prone to memorizing sensitive data, making them
vulnerable to membership inference attacks in which an adversary aims to guess
if an input sample was used to train the model. In this paper, we show that
prior work on membership inference attacks may severely underestimate the
privacy risks by relying solely on training custom neural network classifiers
to perform attacks and focusing only on the aggregate results over data
samples, such as the attack accuracy. To overcome these limitations, we first
propose to benchmark membership inference privacy risks by improving existing
non-neural network based inference attacks and proposing a new inference attack
method based on a modification of prediction entropy. We also propose
benchmarks for defense mechanisms by accounting for adaptive adversaries with
knowledge of the defense and also accounting for the trade-off between model
accuracy and privacy risks. Using our benchmark attacks, we demonstrate that
existing defense approaches are not as effective as previously reported.
Next, we introduce a new approach for fine-grained privacy analysis by
formulating and deriving a new metric called the privacy risk score. Our
privacy risk score metric measures an individual sample's likelihood of being a
training member, which allows an adversary to identify samples with high
privacy risks and perform attacks with high confidence. We experimentally
validate the effectiveness of the privacy risk score and demonstrate that the
distribution of privacy risk score across individual samples is heterogeneous.
Finally, we perform an in-depth investigation for understanding why certain
samples have high privacy risks, including correlations with model sensitivity,
generalization error, and feature embeddings. Our work emphasizes the
importance of a systematic and rigorous evaluation of privacy risks of machine
learning models.
- Abstract（参考訳）: 機械学習モデルはセンシティブなデータを記憶する傾向があり、敵がモデルのトレーニングに入力サンプルを使用したかどうかを推測するメンバーシップ推論攻撃に対して脆弱である。
本稿では,攻撃を行うためのカスタムニューラルネットワーク分類器の訓練にのみ依存し,攻撃精度などのデータサンプルの集計結果にのみ焦点をあてることで,メンバーシップ推論攻撃の先行研究がプライバシーリスクを著しく過小評価する可能性があることを示す。
これらの制約を克服するため,我々はまず,既存の非ニューラルネットワークに基づく推論攻撃を改善し,予測エントロピーの修正に基づく新たな推論攻撃手法を提案することで,メンバシップ推論のプライバシーリスクをベンチマークする。
また, モデル精度とプライバシリスクのトレードオフを考慮し, 防御の知識を有する適応的敵を考慮し, 防御機構のベンチマークも提案する。
ベンチマーク攻撃を用いて、既存の防御アプローチが以前報告したほど効果的ではないことを示す。
次に、プライバシリスクスコアと呼ばれる新しい指標を定式化して導出した、きめ細かいプライバシー分析のための新しいアプローチを提案する。
我々のプライバシリスクスコアは、個々のサンプルがトレーニングメンバーになる可能性を測定し、敵が高いプライバシリスクを持つサンプルを識別し、高い信頼性で攻撃を行うことを可能にする。
プライバシリスクスコアの有効性を実験的に検証し,個々のサンプル間でのプライバシリスクスコアの分布が異質であることを実証した。
最後に,モデル感度,一般化誤差,機能埋め込みとの相関など,特定のサンプルがプライバシリスクが高い理由を理解するための詳細な調査を行う。
我々の研究は、機械学習モデルのプライバシーリスクを体系的かつ厳格に評価することの重要性を強調している。
関連論文リスト
- Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。
提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文 参考訳（メタデータ） (2024-11-04T21:27:06Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳（メタデータ） (2024-03-24T18:33:15Z) - Improved Membership Inference Attacks Against Language Classification Models [0.0]
分類モデルに対するメンバシップ推論攻撃を実行するための新しいフレームワークを提案する。
本手法は,単一攻撃モデルやクラスラベル毎の攻撃モデルよりも精度が高いことを示す。
論文 参考訳（メタデータ） (2023-10-11T06:09:48Z) - On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
我々は,記憶化という新たな視点からプライバシを調査することを提案する。
記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。
一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
論文 参考訳（メタデータ） (2022-08-17T13:02:17Z) - Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。
我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。
我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
論文 参考訳（メタデータ） (2021-11-18T13:31:22Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - On Primes, Log-Loss Scores and (No) Privacy [8.679020335206753]
本稿では,この追加情報により,任意のデータポイントのメンバシップを1つのクエリで完全精度で推測できることを示す。
我々のアプローチは、攻撃モデルのトレーニングや、敵とのサイド知識へのアクセスを妨げます。
論文 参考訳（メタデータ） (2020-09-17T23:35:12Z) - MACE: A Flexible Framework for Membership Privacy Estimation in
Generative Models [14.290199072565162]
生成モデルにおけるメンバシッププライバシ推定のための最初の公式なフレームワークを提案する。
これまでの作業と比較すると、私たちのフレームワークはより現実的で柔軟な仮定をします。
論文 参考訳（メタデータ） (2020-09-11T23:15:05Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。