論文の概要: On the Difficulty of Membership Inference Attacks
- arxiv url: http://arxiv.org/abs/2005.13702v3
- Date: Mon, 22 Mar 2021 20:17:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 07:51:55.230870
- Title: On the Difficulty of Membership Inference Attacks
- Title(参考訳): 会員推論攻撃の難しさについて
- Authors: Shahbaz Rezaei and Xin Liu
- Abstract要約: 近年の研究では,深層モデルに対するMI攻撃が提案されている。
明らかな成功にもかかわらず、これらの研究は正のクラス(メンバークラス)の正確さ、正確さ、リコールのみを報告している。
報告されていない偽陽性率や誤警報率(FAR)に悩まされているため,MI攻撃の報告方法が誤解を招くことが多い。
- 参考スコア(独自算出の注目度): 11.172550334631921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies propose membership inference (MI) attacks on deep models,
where the goal is to infer if a sample has been used in the training process.
Despite their apparent success, these studies only report accuracy, precision,
and recall of the positive class (member class). Hence, the performance of
these attacks have not been clearly reported on negative class (non-member
class). In this paper, we show that the way the MI attack performance has been
reported is often misleading because they suffer from high false positive rate
or false alarm rate (FAR) that has not been reported. FAR shows how often the
attack model mislabel non-training samples (non-member) as training (member)
ones. The high FAR makes MI attacks fundamentally impractical, which is
particularly more significant for tasks such as membership inference where the
majority of samples in reality belong to the negative (non-training) class.
Moreover, we show that the current MI attack models can only identify the
membership of misclassified samples with mediocre accuracy at best, which only
constitute a very small portion of training samples.
We analyze several new features that have not been comprehensively explored
for membership inference before, including distance to the decision boundary
and gradient norms, and conclude that deep models' responses are mostly similar
among train and non-train samples. We conduct several experiments on image
classification tasks, including MNIST, CIFAR-10, CIFAR-100, and ImageNet, using
various model architecture, including LeNet, AlexNet, ResNet, etc. We show that
the current state-of-the-art MI attacks cannot achieve high accuracy and low
FAR at the same time, even when the attacker is given several advantages.
The source code is available at https://github.com/shrezaei/MI-Attack.
- Abstract(参考訳): 最近の研究では、深層モデルに対するメンバーシップ推論(mi)攻撃を提案し、トレーニングプロセスでサンプルが使われたかどうかを推測する。
明らかな成功にもかかわらず、これらの研究は正のクラス(メンバークラス)の精度、精度、リコールのみを報告している。
したがって、これらの攻撃のパフォーマンスは負のクラス(非メンバークラス)で明確に報告されていない。
本稿では、報告されていない偽陽性率や誤警報率(FAR)に悩まされているため、MI攻撃性能の報告方法が誤解を招くことがしばしばあることを示す。
FARは、非トレーニングサンプル(非トレーニングサンプル)をトレーニング(メンバ)と誤ラベルする頻度を示しています。
高いFARにより、MI攻撃は基本的に非現実的であり、特に、実際のサンプルの大半が負の(非訓練的な)クラスに属するようなメンバシップ推論のようなタスクにおいて重要である。
さらに,現在のmi攻撃モデルでは,誤分類されたサンプルのメンバシップのみを最善の精度で識別することが可能であり,トレーニングサンプルのごく一部に過ぎなかった。
決定境界までの距離や勾配ノルムなど,メンバシップ推論のために包括的に検討されていないいくつかの新機能を分析し,深層モデルの応答は列車や非列車のサンプルとほとんど類似していると結論づけた。
mnist, cifar-10, cifar-100, imagenetなどの画像分類タスクについて,lenet, alexnet, resnetなどの様々なモデルアーキテクチャを用いて実験を行った。
我々は,攻撃者がいくつかの利点を与えられた場合でも,現在のMI攻撃は高い精度と低いFARを同時に達成できないことを示す。
ソースコードはhttps://github.com/shrezaei/MI-Attack.comで入手できる。
関連論文リスト
- Membership Inference Attacks on Diffusion Models via Quantile Regression [30.30033625685376]
我々は,家族関係推論(MI)攻撃による拡散モデルのプライバシー上の脆弱性を実証する。
提案したMI攻撃は、トレーニングに使用されていない例における再構成損失の分布を予測(定量化)する量子レグレッションモデルを学習する。
我々の攻撃は従来の最先端攻撃よりも優れており、計算コストは著しく低い。
論文 参考訳(メタデータ) (2023-12-08T16:21:24Z) - MIST: Defending Against Membership Inference Attacks Through Membership-Invariant Subspace Training [20.303439793769854]
メンバー推論(MI)攻撃は、プライベートデータを使用して機械学習(ML)モデルをトレーニングする際の大きなプライバシー上の問題である。
我々はMI攻撃を防御する新しいメンバーシップ・不変部分空間訓練(MIST)手法を提案する。
論文 参考訳(メタデータ) (2023-11-02T01:25:49Z) - Defending Pre-trained Language Models as Few-shot Learners against
Backdoor Attacks [72.03945355787776]
軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。
我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
論文 参考訳(メタデータ) (2023-09-23T04:41:55Z) - On the Discredibility of Membership Inference Attacks [11.172550334631921]
サンプルがトレーニングセットの一部であったかどうかを判断するために、メンバシップ推論攻撃が提案されている。
MIモデルは、メンバーサンプルの隣り合う非メンバーサンプルをメンバーとして誤分類することも多い。
本研究は,現在のメンバーシップ推論攻撃は記憶されたサブ集団を識別できるが,トレーニング中にどのサブ集団が使用されたのかを確実に特定できない。
論文 参考訳(メタデータ) (2022-12-06T01:48:27Z) - NeFSAC: Neurally Filtered Minimal Samples [90.55214606751453]
NeFSACは、動作不整合で条件の悪い最小サンプルをニューラルネットワークでフィルタリングするための効率的なアルゴリズムである。
NeFSACは既存のRANSACベースのパイプラインに接続できる。
公開されている3つの実世界のデータセットから100万枚以上のイメージペアでNeFSACをテストしました。
論文 参考訳(メタデータ) (2022-07-16T08:02:05Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - An Efficient Subpopulation-based Membership Inference Attack [11.172550334631921]
我々は、数百のシャドウモデルを訓練する必要のない、根本的に異なるMIアタックアプローチを導入する。
我々は、トレーニングコストを大幅に削減しつつ、最先端の会員推定精度を達成する。
論文 参考訳(メタデータ) (2022-03-04T00:52:06Z) - "What's in the box?!": Deflecting Adversarial Attacks by Randomly
Deploying Adversarially-Disjoint Models [71.91835408379602]
敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。
我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
論文 参考訳(メタデータ) (2021-02-09T20:07:13Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-08T16:20:48Z) - Adversarial examples are useful too! [47.64219291655723]
モデルがバックドア攻撃を受けたかどうかを判断する新しい手法を提案する。
その考え方は、FGSMのような従来の攻撃を用いて、標的または未標的の敵の例を生成することである。
障害のある地域を視覚的に見つけて、攻撃を露呈することができる。
論文 参考訳(メタデータ) (2020-05-13T01:38:56Z) - Membership Inference Attacks and Defenses in Classification Models [19.498313593713043]
分類器に対するMI攻撃について検討する。
我々は、MI攻撃に対するモデルの脆弱性が一般化ギャップと密接に関連していることを発見した。
トレーニング精度を意図的に低減し,ギャップを埋めることを目的としたMI攻撃に対する防御手法を提案する。
論文 参考訳(メタデータ) (2020-02-27T12:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。