論文の概要: CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models

• arxiv url: http://arxiv.org/abs/2409.01193v1
• Date: Mon, 2 Sep 2024 11:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:01:54.871160
• Title: CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models
• Title（参考訳）: CLIBE: トランスフォーマーベースNLPモデルにおける動的バックドアの検出
• Authors: Rui Zeng, Xi Chen, Yuwen Pu, Xuhong Zhang, Tianyu Du, Shouling Ji,
• Abstract要約: 本稿では, Transformer ベースの NLP モデルで動的バックドアを検出する最初のフレームワークである CLIBE を提案する。 私たちの知る限り、CLIBEは、入力テストサンプルをトリガーすることなく、テキスト生成モデルのバックドアを検出することができる最初のフレームワークです。
• 参考スコア（独自算出の注目度）: 39.782217458240225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backdoors can be injected into NLP models to induce misbehavior when the input text contains a specific feature, known as a trigger, which the attacker secretly selects. Unlike fixed words, phrases, or sentences used in the static text trigger, NLP dynamic backdoor attacks design triggers associated with abstract and latent text features, making them considerably stealthier than traditional static backdoor attacks. However, existing research on NLP backdoor detection primarily focuses on defending against static backdoor attacks, while detecting dynamic backdoors in NLP models remains largely unexplored. This paper presents CLIBE, the first framework to detect dynamic backdoors in Transformer-based NLP models. CLIBE injects a "few-shot perturbation" into the suspect Transformer model by crafting optimized weight perturbation in the attention layers to make the perturbed model classify a limited number of reference samples as a target label. Subsequently, CLIBE leverages the generalization ability of this few-shot perturbation to determine whether the original model contains a dynamic backdoor. Extensive evaluation on three advanced NLP dynamic backdoor attacks, two widely-used Transformer frameworks, and four real-world classification tasks strongly validates the effectiveness of CLIBE. We also demonstrate the robustness of CLIBE against various adaptive attacks. Furthermore, we employ CLIBE to scrutinize 49 popular Transformer models on Hugging Face and discover one exhibiting a high probability of containing a dynamic backdoor. We have contacted Hugging Face and provided detailed evidence of this model's backdoor behavior. Moreover, we extend CLIBE to detect backdoor text generation models modified to exhibit toxic behavior. To the best of our knowledge, CLIBE is the first framework capable of detecting backdoors in text generation models without access to trigger input test samples.
• Abstract（参考訳）: バックドアはNLPモデルに注入され、入力テキストにトリガーと呼ばれる特定の機能が含まれており、攻撃者が秘密に選択した場合に誤動作を誘発する。 静的テキストトリガで使用される固定語、フレーズ、文とは異なり、NLP動的バックドアは抽象的および潜在的なテキスト機能に関連する設計トリガーを攻撃し、従来の静的バックドア攻撃よりもかなりステルス性が高い。 しかし、NLPバックドア検出に関する既存の研究は、主に静的バックドア攻撃に対する防御に焦点を当てているが、NLPモデルにおける動的バックドアの検出は明らかにされていない。 本稿では, Transformer ベースの NLP モデルで動的バックドアを検出する最初のフレームワークである CLIBE を提案する。 CLIBEは、ターゲットラベルとして限られた数の参照サンプルを分類するように、注目層に最適化された重量摂動を組み込むことで、疑似トランスフォーマーモデルに「ファウショット摂動」を注入する。 その後、CLIBEは、この数発の摂動の一般化能力を利用して、元のモデルが動的バックドアを含むかどうかを判断する。 3つの高度なNLP動的バックドア攻撃,2つの広く使用されているトランスフォーマーフレームワーク,および4つの実世界の分類タスクに対する広範囲な評価は,CLIBEの有効性を強く検証する。 また,様々なアダプティブアタックに対するCLIBEの堅牢性を示す。 さらに、CLIBEを用いて、Hugging Face上で49の人気のTransformerモデルを精査し、動的バックドアを含む確率の高いモデルを見つける。 我々はHugging Faceにコンタクトを取り、このモデルのバックドア動作の詳細な証拠を提供した。 さらに、CLIBEを拡張し、有害な振る舞いを示すように修正されたバックドアテキスト生成モデルを検出する。 私たちの知る限り、CLIBEは、入力テストサンプルをトリガーすることなく、テキスト生成モデルのバックドアを検出することができる最初のフレームワークです。

関連論文リスト

• CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization [7.282200564983221]
  大規模言語モデル(LLM)は、バックドア攻撃の影響を受けやすい。 バックドアトリガによる階層的不整合に対処するために、内部一貫性規則化(CROW)を導入する。 CROWは、さまざまなバックドア戦略やタスクにおける攻撃成功率の大幅な削減を一貫して達成している。
  論文  参考訳（メタデータ） (2024-11-18T07:52:12Z)
• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• Evolutionary Trigger Detection and Lightweight Model Repair Based Backdoor Defense [10.310546695762467]
  ディープニューラルネットワーク(DNN)は、自律運転や顔認識など、多くの分野で広く利用されている。 DNNモデルのバックドアは、トリガーによる有毒な入力によってアクティベートされ、誤った予測につながる。 進化的トリガ検出と軽量モデル修復に基づく効率的なバックドア防御を提案する。
  論文  参考訳（メタデータ） (2024-07-07T14:50:59Z)
• Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
  バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。 このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。 この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
  論文  参考訳（メタデータ） (2024-02-28T21:29:16Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Kallima: A Clean-label Framework for Textual Backdoor Attacks [25.332731545200808]
  マイメシススタイルのバックドアサンプルを合成するための,最初のクリーンラベルフレームワークKallimaを提案する。 我々は,対象クラスに属する入力を逆方向の摂動で修正し,モデルがバックドアトリガに依存するようにした。
  論文  参考訳（メタデータ） (2022-06-03T21:44:43Z)
• Backdoor Pre-trained Models Can Transfer to All [33.720258110911274]
  そこで本研究では,トリガを含む入力を事前学習したNLPモデルの出力表現に直接マッピングする手法を提案する。 NLPにおけるトリガのユニークな特性を考慮して,バックドア攻撃の性能を測定するための2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2021-10-30T07:11:24Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。