論文の概要: On the Effectiveness of Regularization Against Membership Inference
Attacks
- arxiv url: http://arxiv.org/abs/2006.05336v1
- Date: Tue, 9 Jun 2020 15:17:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 14:01:02.648579
- Title: On the Effectiveness of Regularization Against Membership Inference
Attacks
- Title(参考訳): メンバーシップ推論攻撃に対する正規化の有効性について
- Authors: Yigitcan Kaya, Sanghyun Hong, Tudor Dumitras
- Abstract要約: ディープラーニングモデルは、トレーニングデータに関する情報を漏らすと、しばしばプライバシー上の懸念を引き起こす。
これにより、モデルのトレーニングセットにあるデータポイントがメンバーシップ推論アタック(MIA)によって決定される。
多くの正規化機構が存在するが、MIAに対する効果は体系的に研究されていない。
- 参考スコア(独自算出の注目度): 26.137849584503222
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models often raise privacy concerns as they leak information
about their training data. This enables an adversary to determine whether a
data point was in a model's training set by conducting a membership inference
attack (MIA). Prior work has conjectured that regularization techniques, which
combat overfitting, may also mitigate the leakage. While many regularization
mechanisms exist, their effectiveness against MIAs has not been studied
systematically, and the resulting privacy properties are not well understood.
We explore the lower bound for information leakage that practical attacks can
achieve. First, we evaluate the effectiveness of 8 mechanisms in mitigating two
recent MIAs, on three standard image classification tasks. We find that certain
mechanisms, such as label smoothing, may inadvertently help MIAs. Second, we
investigate the potential of improving the resilience to MIAs by combining
complementary mechanisms. Finally, we quantify the opportunity of future MIAs
to compromise privacy by designing a white-box `distance-to-confident' (DtC)
metric, based on adversarial sample crafting. Our metric reveals that, even
when existing MIAs fail, the training samples may remain distinguishable from
test samples. This suggests that regularization mechanisms can provide a false
sense of privacy, even when they appear effective against existing MIAs.
- Abstract(参考訳): ディープラーニングモデルは、トレーニングデータに関する情報を漏らすと、しばしばプライバシー上の懸念を引き起こす。
これにより、データポイントがモデルのトレーニングセットに含まれるかどうかを、メンバーシップ推論攻撃(MIA)を実行することで決定することができる。
先行研究は、オーバーフィッティングと戦う正規化手法が漏洩を緩和するかもしれないと推測している。
多くの正規化機構が存在するが、MIAに対する効果は体系的に研究されておらず、結果として生じるプライバシー特性はよく理解されていない。
我々は、実用的な攻撃が達成できる情報漏洩の少ない境界を探究する。
まず,3つの標準画像分類課題において,2つのMIAを緩和する8つのメカニズムの有効性を評価する。
ラベルの平滑化など特定のメカニズムがMIAを不注意に助ける可能性がある。
第2に, 相補的な機構を組み合わせることでMIAのレジリエンス向上の可能性を検討する。
最後に、敵対的なサンプル作成に基づいて、ホワイトボックスの 'distance-to-confident' (DtC) メトリックを設計することで、将来のMIAがプライバシーを侵害する機会を定量化する。
我々の測定では、既存のMIAが失敗したとしても、トレーニングサンプルはテストサンプルと区別可能である。
これは、既存のMIAに対して効果的に見える場合でも、正規化メカニズムが誤ったプライバシー感覚を与える可能性があることを示唆している。
関連論文リスト
- Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。
本稿では,報酬の誤特定の程度を定量化するための指標ReGapを紹介し,有害なバックドアプロンプトを検出する上での有効性とロバスト性を示す。
ReMissは、様々な目標に整列したLDMに対して対向的なプロンプトを生成する自動レッドチームリングシステムである。
論文 参考訳(メタデータ) (2024-06-20T15:12:27Z) - Evaluating Membership Inference Attacks and Defenses in Federated
Learning [23.080346952364884]
会員推論攻撃(MIA)は、連合学習におけるプライバシー保護への脅威を増大させる。
本稿では,既存のMIAと対応する防衛戦略の評価を行う。
論文 参考訳(メタデータ) (2024-02-09T09:58:35Z) - Perturbation-Invariant Adversarial Training for Neural Ranking Models:
Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
正統な文書に不可避な摂動を加えることで 敵の例を作れます
この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。
本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
論文 参考訳(メタデータ) (2023-12-16T05:38:39Z) - MIA-BAD: An Approach for Enhancing Membership Inference Attack and its
Mitigation with Federated Learning [6.510488168434277]
メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。
バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。
FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
論文 参考訳(メタデータ) (2023-11-28T06:51:26Z) - Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
メンバーシップ推論攻撃(MIA)は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。
自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
具体的には、LLMの記憶はトレーニングプロセス中に必然的に必要であり、オーバーフィッティング前に発生するので、より信頼性の高いメンバーシップ信号を導入する。
論文 参考訳(メタデータ) (2023-11-10T13:55:05Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。
本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。
本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
論文 参考訳(メタデータ) (2022-07-25T13:45:11Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z) - Membership Inference Attacks and Defenses in Classification Models [19.498313593713043]
分類器に対するMI攻撃について検討する。
我々は、MI攻撃に対するモデルの脆弱性が一般化ギャップと密接に関連していることを発見した。
トレーニング精度を意図的に低減し,ギャップを埋めることを目的としたMI攻撃に対する防御手法を提案する。
論文 参考訳(メタデータ) (2020-02-27T12:35:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。