論文の概要: Defending Pre-trained Language Models as Few-shot Learners against Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2309.13256v1
• Date: Sat, 23 Sep 2023 04:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 21:03:13.309886
• Title: Defending Pre-trained Language Models as Few-shot Learners against Backdoor Attacks
• Title（参考訳）: バックドア攻撃に対する学習者による事前訓練型言語モデルの構築
• Authors: Zhaohan Xi, Tianyu Du, Changjiang Li, Ren Pang, Shouling Ji, Jinghui Chen, Fenglong Ma, Ting Wang
• Abstract要約: 軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。 我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
• 参考スコア（独自算出の注目度）: 72.03945355787776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (PLMs) have demonstrated remarkable performance as few-shot learners. However, their security risks under such settings are largely unexplored. In this work, we conduct a pilot study showing that PLMs as few-shot learners are highly vulnerable to backdoor attacks while existing defenses are inadequate due to the unique challenges of few-shot scenarios. To address such challenges, we advocate MDP, a novel lightweight, pluggable, and effective defense for PLMs as few-shot learners. Specifically, MDP leverages the gap between the masking-sensitivity of poisoned and clean samples: with reference to the limited few-shot data as distributional anchors, it compares the representations of given samples under varying masking and identifies poisoned samples as ones with significant variations. We show analytically that MDP creates an interesting dilemma for the attacker to choose between attack effectiveness and detection evasiveness. The empirical evaluation using benchmark datasets and representative attacks validates the efficacy of MDP.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、数発の学習者として顕著な性能を示した。 しかし、そのような状況下でのセキュリティリスクは、ほとんど調査されていない。 本研究では,小ショット学習者のplmがバックドア攻撃に対して非常に脆弱であるのに対して,小ショットシナリオのユニークな課題により既存の防御が不十分であることを示すパイロット研究を行った。 このような課題に対処するため,我々は,PLMの軽量でプラガブルで効果的な防御技術であるMDPを,少人数の学習者として提唱する。 特に、MDPは、汚染されたサンプルとクリーンなサンプルのマスキング感度のギャップを生かし、限られた数発のデータを分布アンカーとして、異なるマスキングの下で与えられたサンプルの表現を比較し、有毒なサンプルを有意な変動のあるものとして識別する。 mdpが攻撃効果と検出回避性のいずれかを選択するための興味深いジレンマを生み出すことを解析的に示す。 ベンチマークデータセットと代表攻撃を用いた経験的評価はmdpの有効性を検証する。

関連論文リスト

• Reliable Poisoned Sample Detection against Backdoor Attacks Enhanced by Sharpness Aware Minimization [38.957943962546864]
  我々は,バニラ学習アルゴリズムではなく,シャープネス・アウェア最小化(SAM)アルゴリズムを用いて1つのモデルを訓練することを提案する。 いくつかのベンチマークデータセットに対する大規模な実験は、弱いバックドア攻撃と強いバックドア攻撃の両方に対して提案手法の信頼性の高い検出性能を示す。
  論文  参考訳（メタデータ） (2024-11-18T12:35:08Z)
• Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
  大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。 特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。 本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T09:55:34Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Confidence-driven Sampling for Backdoor Attacks [49.72680157684523]
  バックドア攻撃は、悪質なトリガをDNNモデルに過剰に挿入することを目的としており、テストシナリオ中に不正な制御を許可している。 既存の方法では防衛戦略に対する堅牢性が欠如しており、主に無作為な試薬を無作為に選別しながら、引き金の盗難を強化することに重点を置いている。 信頼性スコアの低いサンプルを選別し、これらの攻撃を識別・対処する上で、守備側の課題を著しく増大させる。
  論文  参考訳（メタデータ） (2023-10-08T18:57:36Z)
• Fooling the Textual Fooler via Randomizing Latent Representations [13.77424820701913]
  敵語レベルの摂動はよく研究され効果的な攻撃戦略である。 本稿では、敵の例を生成する過程を複雑にすることを目的とする、軽量で攻撃に依存しない防御法を提案する。 本稿では,AdvFoolerの対人的単語レベル攻撃に対する最先端のロバスト性を実証的に示す。
  論文  参考訳（メタデータ） (2023-10-02T06:57:25Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。