論文の概要: LDL: A Defense for Label-Based Membership Inference Attacks
- arxiv url: http://arxiv.org/abs/2212.01688v1
- Date: Sat, 3 Dec 2022 20:55:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 19:05:12.313485
- Title: LDL: A Defense for Label-Based Membership Inference Attacks
- Title(参考訳): LDL: ラベルベースのメンバシップ推論攻撃の防御
- Authors: Arezoo Rajabi, Dinuka Sahabandu, Luyao Niu, Bhaskar Ramasubramanian,
Radha Poovendran
- Abstract要約: オーバーフィットしたディープニューラルネットワーク(DNN)モデルは、クエリベースの攻撃の影響を受けやすい。
新しいラベルベースのMIA (LAB MIA) が提案され、敵は予測されたサンプルのラベルの知識しか持たなかった。
LDL は LAB MIA に対する軽度防御である。
- 参考スコア(独自算出の注目度): 5.542528986254584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The data used to train deep neural network (DNN) models in applications such
as healthcare and finance typically contain sensitive information. A DNN model
may suffer from overfitting. Overfitted models have been shown to be
susceptible to query-based attacks such as membership inference attacks (MIAs).
MIAs aim to determine whether a sample belongs to the dataset used to train a
classifier (members) or not (nonmembers). Recently, a new class of label based
MIAs (LAB MIAs) was proposed, where an adversary was only required to have
knowledge of predicted labels of samples. Developing a defense against an
adversary carrying out a LAB MIA on DNN models that cannot be retrained remains
an open problem.
We present LDL, a light weight defense against LAB MIAs. LDL works by
constructing a high-dimensional sphere around queried samples such that the
model decision is unchanged for (noisy) variants of the sample within the
sphere. This sphere of label-invariance creates ambiguity and prevents a
querying adversary from correctly determining whether a sample is a member or a
nonmember. We analytically characterize the success rate of an adversary
carrying out a LAB MIA when LDL is deployed, and show that the formulation is
consistent with experimental observations. We evaluate LDL on seven datasets --
CIFAR-10, CIFAR-100, GTSRB, Face, Purchase, Location, and Texas -- with varying
sizes of training data. All of these datasets have been used by SOTA LAB MIAs.
Our experiments demonstrate that LDL reduces the success rate of an adversary
carrying out a LAB MIA in each case. We empirically compare LDL with defenses
against LAB MIAs that require retraining of DNN models, and show that LDL
performs favorably despite not needing to retrain the DNNs.
- Abstract(参考訳): 医療や金融といったアプリケーションでディープニューラルネットワーク(DNN)モデルをトレーニングするために使用されるデータは、一般的に機密情報を含んでいる。
DNNモデルは過度に適合する可能性がある。
過度に適合したモデルは、メンバーシップ推論攻撃(mias)のようなクエリベースの攻撃に影響を受けやすいことが示されている。
MIAは、サンプルが分類器(メンバー)を訓練するために使用されるデータセットに属するかどうか(非メンバー)を決定することを目的としている。
近年,新たなラベルベースのmias (lab mias) が提案され,サンプルのラベルを予測した知識のみを敵に持つことが求められた。
再訓練できないDNNモデル上でLAB MIAを実行する敵に対する防御を開発することは、未解決の問題である。
LDL は LAB MIA に対する軽度防御である。
LDLは、サンプルの(ノイズの多い)変種に対してモデル決定が変更されないように、クエリされたサンプルの周りに高次元の球体を構築することで機能する。
このラベル不変性の領域はあいまいさを生じさせ、クエリの敵がサンプルがメンバーか非メンバーかを正しく判断できないようにする。
LDL の実施時に LAB MIA を実行する相手の成功率を解析的に特徴付け,実験結果と整合性を示す。
トレーニングデータのサイズによって,CIFAR-10,CIFAR-100,GTSRB,Face,Purchase,Location,Texasの7つのデータセットでLCLを評価した。
これらのデータセットはすべてSOTA LAB MIAによって使用されている。
実験の結果, LDL は各事例において LAB MIA を実行する相手の成功率を低下させることが示された。
DNN モデルの再訓練を必要とする LAB MIA に対する LDL の防御効果を実証的に比較し,DNN モデルの再訓練を必要とせずに LDL が好適に動作することを示す。
関連論文リスト
- Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [63.67157940979682]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T19:32:01Z) - Pandora's White-Box: Increased Training Data Leakage in Open LLMs [4.458307330781945]
我々はオープンソースのLarge Language Models(LLM)に対するプライバシー攻撃について研究する。
我々は,標準に基づく攻撃,教師付きニューラルネットワーク,単一ステップ損失比攻撃の3つの新しいホワイトボックスMIAを提案する。
微調整では、細調整されたモデルとベースモデルの損失を考慮に入れれば、細調整された損失比攻撃FLoRAは、ほぼ完全なMIA性能を実現することができる。
論文 参考訳(メタデータ) (2024-02-26T20:41:50Z) - Do Membership Inference Attacks Work on Large Language Models? [145.90022632726883]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文 参考訳(メタデータ) (2024-02-12T17:52:05Z) - Double-Dip: Thwarting Label-Only Membership Inference Attacks with
Transfer Learning and Randomization [2.6121142662033923]
会員推論攻撃(MIAs)と呼ばれるプライバシー攻撃のクラスは、与えられたサンプルがトレーニングデータセット(メンバー)に属しているかどうか(非メンバー)を決定することを目的としている。
論文 参考訳(メタデータ) (2024-02-02T03:14:37Z) - MIA-BAD: An Approach for Enhancing Membership Inference Attack and its
Mitigation with Federated Learning [6.510488168434277]
メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。
バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。
FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
論文 参考訳(メタデータ) (2023-11-28T06:51:26Z) - DALA: A Distribution-Aware LoRA-Based Adversarial Attack against
Language Models [64.79319733514266]
敵攻撃は入力データに微妙な摂動をもたらす可能性がある。
最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。
そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T23:43:47Z) - Practical Membership Inference Attacks against Fine-tuned Large Language
Models via Self-prompt Calibration [33.77030569632993]
メンバーシップ推論攻撃(MIA)は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。
自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
具体的には、LLMの記憶はトレーニングプロセス中に必然的に必要であり、オーバーフィッティング前に発生するので、より信頼性の高いメンバーシップ信号を導入する。
論文 参考訳(メタデータ) (2023-11-10T13:55:05Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Inaccurate Label Distribution Learning [56.89970970094207]
ラベル分布学習(LDL)は、ラベルの集合(ラベル分布(LD)と呼ばれる)のインスタンスへの関連性を予測するためにモデルを訓練する。
本稿では,不正確なLDL,すなわち雑音性LDを用いたLCLモデルの開発について検討する。
論文 参考訳(メタデータ) (2023-02-25T06:23:45Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。