論文の概要: Does Differential Privacy Prevent Backdoor Attacks in Practice?
- arxiv url: http://arxiv.org/abs/2311.06227v1
- Date: Fri, 10 Nov 2023 18:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 14:15:06.281254
- Title: Does Differential Privacy Prevent Backdoor Attacks in Practice?
- Title(参考訳): 差別化プライバシはバックドア攻撃を防ぐか?
- Authors: Fereshteh Razmi, Jian Lou, and Li Xiong
- Abstract要約: 機械学習モデルにおけるバックドア攻撃防止における差分プライバシー手法の有効性について検討する。
本稿では,DP-SGD と PATE の高速かつ高精度な代替手段として Label-DP を提案する。
- 参考スコア(独自算出の注目度): 8.951356689083166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential Privacy (DP) was originally developed to protect privacy.
However, it has recently been utilized to secure machine learning (ML) models
from poisoning attacks, with DP-SGD receiving substantial attention.
Nevertheless, a thorough investigation is required to assess the effectiveness
of different DP techniques in preventing backdoor attacks in practice. In this
paper, we investigate the effectiveness of DP-SGD and, for the first time in
literature, examine PATE in the context of backdoor attacks. We also explore
the role of different components of DP algorithms in defending against backdoor
attacks and will show that PATE is effective against these attacks due to the
bagging structure of the teacher models it employs. Our experiments reveal that
hyperparameters and the number of backdoors in the training dataset impact the
success of DP algorithms. Additionally, we propose Label-DP as a faster and
more accurate alternative to DP-SGD and PATE. We conclude that while Label-DP
algorithms generally offer weaker privacy protection, accurate hyper-parameter
tuning can make them more effective than DP methods in defending against
backdoor attacks while maintaining model accuracy.
- Abstract(参考訳): 微分プライバシー(DP)は、もともとプライバシーを保護するために開発された。
しかし、最近、DP-SGDがかなりの注目を集めている中毒発作から機械学習(ML)モデルを保護するために利用されてきた。
それにもかかわらず、バックドア攻撃の防止に異なるDP手法の有効性を評価するためには、徹底的な調査が必要である。
本稿では,DP-SGDの有効性について検討し,文献ではじめてバックドア攻撃の文脈におけるPATEについて検討する。
また,バックドア攻撃に対する防御におけるdpアルゴリズムのさまざまなコンポーネントの役割について検討し,pateが採用する教師モデルの袋詰め構造により,これらの攻撃に対して有効であることを示す。
実験の結果,トレーニングデータセットのハイパーパラメータとバックドア数がDPアルゴリズムの成功に影響を及ぼすことがわかった。
さらに,DP-SGDとPATEの高速かつ高精度な代替手段としてラベルDPを提案する。
label-dpアルゴリズムは一般により弱いプライバシー保護を提供するが、正確なハイパーパラメータチューニングはモデル精度を維持しつつバックドア攻撃に対してdpメソッドよりも効果的である。
関連論文リスト
- Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。
我々は、最先端技術にマッチする会員推定のバウンダリを得る。
属性推論に対する新しいデータ依存型バウンダリを提案する。
論文 参考訳(メタデータ) (2024-02-22T09:26:16Z) - Defending Against Weight-Poisoning Backdoor Attacks for
Parameter-Efficient Fine-Tuning [60.38625902569202]
パラメータ効率のよい微調整(PEFT)は,重み付けによるバックドア攻撃の影響を受けやすいことを示す。
PEFTを利用したPSIM(Poisoned Sample Identification Module)を開発した。
テキスト分類タスク,5つの微調整戦略,および3つの重み付けバックドア攻撃手法について実験を行った。
論文 参考訳(メタデータ) (2024-02-19T14:22:54Z) - Defending Pre-trained Language Models as Few-shot Learners against
Backdoor Attacks [72.03945355787776]
軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。
我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
論文 参考訳(メタデータ) (2023-09-23T04:41:55Z) - From Shortcuts to Triggers: Backdoor Defense with Denoised PoE [56.02753561820302]
言語モデルは、しばしば多様なバックドア攻撃、特にデータ中毒の危険にさらされる。
既存のバックドア防御手法は主に明示的なトリガーによるバックドア攻撃に焦点を当てている。
我々は,様々なバックドア攻撃を防御するために,エンド・ツー・エンドアンサンブルに基づくバックドア防御フレームワークDPoEを提案する。
論文 参考訳(メタデータ) (2023-05-24T08:59:25Z) - Bounding Training Data Reconstruction in DP-SGD [42.36933026300976]
異なるプライベートトレーニングは、通常、メンバーシップ推論攻撃に対する保証として解釈される保護を提供する。
プロキシによって、この保証は、完全なトレーニング例を抽出しようとする再構築攻撃のような他の脅威にまで拡張される。
最近の研究は、もしメンバーシップ攻撃から保護する必要がなく、訓練データ再構成から保護することだけを望むなら、プライベートモデルの実用性を改善することができるという証拠を提供している。
論文 参考訳(メタデータ) (2023-02-14T18:02:34Z) - CorruptEncoder: Data Poisoning based Backdoor Attacks to Contrastive
Learning [71.25518220297639]
コントラスト学習は、ラベル付き事前学習データセットを使用して汎用エンコーダを訓練する。
DPBAはトレーニング前のデータセットに有毒な入力を注入してエンコーダをバックドアにする。
CorruptEncoderは、有毒な入力を生成するための新しい攻撃戦略を導入し、攻撃効率を最大化するために理論誘導方式を使用している。
我々の防衛はDPBAの有効性を低下させるが,エンコーダの実用性を犠牲にし,新たな防衛の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2022-11-15T15:48:28Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳(メタデータ) (2021-03-24T12:06:40Z) - DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with
Differentially Private Data Augmentations [54.960853673256]
混合や無作為な付加ノイズなどの強いデータ拡張は、わずかな精度のトレードオフに耐えながら、毒の攻撃を無効にする。
DP-InstaHideの厳密な分析によると、ミキサップは確かにプライバシー上の利点があり、kウェイミキサップによるトレーニングは、単純DPメカニズムよりも少なくともk倍強いDP保証が得られる。
論文 参考訳(メタデータ) (2021-03-02T23:07:31Z) - Monitoring-based Differential Privacy Mechanism Against Query-Flooding
Parameter Duplication Attack [15.977216274894912]
適応型クエリフローディングパラメータ重複(QPD)攻撃を提案する。
相手はブラックボックスアクセスでモデル情報を推測することができる。
我々は,この新たな攻撃に対するモニタリングベースDP(MDP)を用いた防衛戦略を開発する。
論文 参考訳(メタデータ) (2020-11-01T04:21:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。