論文の概要: A Method to Facilitate Membership Inference Attacks in Deep Learning Models
- arxiv url: http://arxiv.org/abs/2407.01919v1
- Date: Tue, 2 Jul 2024 03:33:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 16:53:49.182267
- Title: A Method to Facilitate Membership Inference Attacks in Deep Learning Models
- Title(参考訳): 深層学習モデルにおけるメンバーシップ推論攻撃の一手法
- Authors: Zitao Chen, Karthik Pattabiraman,
- Abstract要約: 我々は,従来の技術よりも厳格に強力な新たな会員推論攻撃を実演する。
私たちの攻撃は、敵がすべてのトレーニングサンプルを確実に識別する権限を与えます。
これらのモデルは、共通の会員プライバシー監査の下で、増幅された会員リークを効果的に偽装できることを示す。
- 参考スコア(独自算出の注目度): 5.724311218570013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning (ML) ecosystems offer a surging number of ML frameworks and code repositories that can greatly facilitate the development of ML models. Today, even ordinary data holders who are not ML experts can apply off-the-shelf codebase to build high-performance ML models on their data, many of which are sensitive in nature (e.g., clinical records). In this work, we consider a malicious ML provider who supplies model-training code to the data holders, does not have access to the training process, and has only black-box query access to the resulting model. In this setting, we demonstrate a new form of membership inference attack that is strictly more powerful than prior art. Our attack empowers the adversary to reliably de-identify all the training samples (average >99% attack TPR@0.1% FPR), and the compromised models still maintain competitive performance as their uncorrupted counterparts (average <1% accuracy drop). Moreover, we show that the poisoned models can effectively disguise the amplified membership leakage under common membership privacy auditing, which can only be revealed by a set of secret samples known by the adversary. Overall, our study not only points to the worst-case membership privacy leakage, but also unveils a common pitfall underlying existing privacy auditing methods, which calls for future efforts to rethink the current practice of auditing membership privacy in machine learning models.
- Abstract(参考訳): 現代の機械学習(ML)エコシステムは、MLモデルの開発を大幅に促進できる、多数のMLフレームワークとコードリポジトリを提供する。
現在、MLの専門家でない普通のデータ保有者でさえ、そのデータに基づいて高性能なMLモデルを構築するために、既製のコードベースを適用できる。
本研究では、データホルダにモデルトレーニングコードを提供し、トレーニングプロセスにアクセスできず、結果モデルにブラックボックスクエリアクセスしか持たない悪意のあるMLプロバイダについて検討する。
本稿では,従来の技術よりも厳格に強力な新たな会員推論攻撃を示す。
我々の攻撃は、敵がすべてのトレーニングサンプル(平均99%の攻撃TPR@0.1% FPR)を確実に識別することを可能にします。
さらに, 毒殺モデルでは, 共通の会員プライバシー監査において, 増幅された会員リークを効果的に偽装できることを示す。
全体として、我々の研究は最悪のメンバーシップのプライバシー漏洩を指摘しているだけでなく、既存のプライバシ監査手法に共通する落とし穴も明らかにしている。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - Chameleon: Increasing Label-Only Membership Leakage with Adaptive
Poisoning [8.084254242380057]
メンバーシップ推論(MI)攻撃は、特定のデータサンプルがモデルのトレーニングデータセットに含まれているかどうかを判断する。
既存のラベルのみのMI攻撃は、偽陽性率の低い体制での加入を推測するには効果がないことを示す。
本稿では,新たなアダプティブなデータ中毒戦略と効率的なクエリ選択手法を活用する新たな攻撃型Chameleonを提案する。
論文 参考訳(メタデータ) (2023-10-05T18:46:27Z) - Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。
新たな課題と今後の研究方向性を強調します。
本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
論文 参考訳(メタデータ) (2023-05-12T14:28:02Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:30:16Z) - On the Evaluation of User Privacy in Deep Neural Networks using Timing
Side Channel [14.350301915592027]
我々は,Deep Learning (DL) の実装において,新たなデータ依存型タイミング側チャネルリーク(クラスリーク)を特定し,報告する。
ユーザ特権とハードラベルのブラックボックスアクセスを持つ敵が、クラスリークを悪用できる、実用的な推論時攻撃を実証する。
我々は,クラスリークを緩和する定時分岐操作を行うことにより,実装が容易な対策を開発する。
論文 参考訳(メタデータ) (2022-08-01T19:38:16Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Machine Learning Security against Data Poisoning: Are We There Yet? [23.809841593870757]
この記事では、機械学習モデル学習に使用されるトレーニングデータを侵害するデータ中毒攻撃についてレビューする。
基本的なセキュリティ原則を用いてこれらの攻撃を緩和するか、あるいはML指向の防御機構をデプロイするかについて議論する。
論文 参考訳(メタデータ) (2022-04-12T17:52:09Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Privacy Analysis of Deep Learning in the Wild: Membership Inference
Attacks against Transfer Learning [27.494206948563885]
本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。
4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。
我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
論文 参考訳(メタデータ) (2020-09-10T14:14:22Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。