論文の概要: BDMMT: Backdoor Sample Detection for Language Models through Model
Mutation Testing
- arxiv url: http://arxiv.org/abs/2301.10412v1
- Date: Wed, 25 Jan 2023 05:24:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-26 15:56:10.421746
- Title: BDMMT: Backdoor Sample Detection for Language Models through Model
Mutation Testing
- Title（参考訳）: BDMMT:モデル変異試験による言語モデルのバックドアサンプル検出
- Authors: Jiali Wei, Ming Fan, Wenjing Jiao, Wuxia Jin, Ting Liu
- Abstract要約: 本稿では,深層モデル変異検査に基づく防御手法を提案する。
バックドアサンプルの検出におけるモデル変異検査の有効性をまず確認した。
次に,広範に研究された3つのバックドアアタックレベルに対して,系統的に防御を行った。
- 参考スコア（独自算出の注目度）: 14.88575793895578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) and natural language processing (NLP) systems
have developed rapidly and have been widely used in various real-world fields.
However, they have been shown to be vulnerable to backdoor attacks.
Specifically, the adversary injects a backdoor into the model during the
training phase, so that input samples with backdoor triggers are classified as
the target class. Some attacks have achieved high attack success rates on the
pre-trained language models (LMs), but there have yet to be effective defense
methods. In this work, we propose a defense method based on deep model mutation
testing. Our main justification is that backdoor samples are much more robust
than clean samples if we impose random mutations on the LMs and that backdoors
are generalizable. We first confirm the effectiveness of model mutation testing
in detecting backdoor samples and select the most appropriate mutation
operators. We then systematically defend against three extensively studied
backdoor attack levels (i.e., char-level, word-level, and sentence-level) by
detecting backdoor samples. We also make the first attempt to defend against
the latest style-level backdoor attacks. We evaluate our approach on three
benchmark datasets (i.e., IMDB, Yelp, and AG news) and three style transfer
datasets (i.e., SST-2, Hate-speech, and AG news). The extensive experimental
results demonstrate that our approach can detect backdoor samples more
efficiently and accurately than the three state-of-the-art defense approaches.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)と自然言語処理(NLP)システムは急速に発展し、様々な現実世界で広く利用されている。
しかし、バックドア攻撃に弱いことが示されている。
具体的には、敵はトレーニングフェーズ中にモデルにバックドアを注入し、バックドアトリガーを持つ入力サンプルをターゲットクラスに分類する。
いくつかの攻撃は、訓練済み言語モデル(LM)に対して高い攻撃成功率を達成したが、効果的な防御方法はまだない。
本研究では,深層モデル変異試験に基づく防御法を提案する。
我々の主な正当性は、バックドアのサンプルは、lmsにランダムな突然変異を課すと、クリーンなサンプルよりもずっと頑健であり、バックドアが一般化可能であることである。
まず,バックドアサンプルの検出におけるモデル変異検査の有効性を確認し,最も適切な突然変異演算子を選択する。
次に、バックドアのサンプルを検出することで、広く研究された3つのバックドア攻撃レベル(charレベル、wordレベル、文レベル)に対して体系的に防御する。
私たちはまた、最新のスタイルレベルのバックドア攻撃を防御する最初の試みも行います。
我々は3つのベンチマークデータセット(IMDB、Yelp、AGニュース)と3つのスタイル転送データセット(SST-2、Hate-speech、AGニュース)に対するアプローチを評価した。
提案手法は,3つの最先端防衛手法よりも効率的かつ高精度にバックドアサンプルを検出できることを示す。
関連論文リスト
- Exploiting the Vulnerability of Large Language Models via Defense-Aware Architectural Backdoor [0.24335447922683692]
基盤となるモデルアーキテクチャ内に隠蔽する新しいタイプのバックドアアタックを導入します。
モデルアーキテクチャレイヤのアドオンモジュールは、入力トリガトークンの存在を検出し、レイヤの重みを変更することができる。
我々は,5つの大言語データセットの2つのモデルアーキテクチャ設定を用いて,攻撃方法を評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-09-03T14:54:16Z) - T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models [70.03122709795122]
バックドア攻撃の検出, 局所化, 緩和のための総合防御手法T2IShieldを提案する。
バックドアトリガーによって引き起こされた横断アテンションマップの「アシミレーション現象」を見いだす。
バックドアサンプル検出のために、T2IShieldは計算コストの低い88.9$%のF1スコアを達成している。
論文 参考訳（メタデータ） (2024-07-05T01:53:21Z) - Elijah: Eliminating Backdoors Injected in Diffusion Models via
Distribution Shift [86.92048184556936]
DMの最初のバックドア検出・除去フレームワークを提案する。
DDPM, NCSN, LDMを含む3種類のDMを用いて, フレームワークのElijahを評価した。
提案手法では, モデルの有用性を著しく損なうことなく, 検出精度が100%に近づき, バックドア効果をゼロに抑えることができる。
論文 参考訳（メタデータ） (2023-11-27T23:58:56Z) - Setting the Trap: Capturing and Defeating Backdoors in Pretrained
Language Models through Honeypots [68.84056762301329]
近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。
バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。
我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
論文 参考訳（メタデータ） (2023-10-28T08:21:16Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳（メタデータ） (2023-05-11T10:05:57Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳（メタデータ） (2023-05-03T20:31:13Z) - Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
周波数領域に基づく一般化されたバックドア攻撃手法を提案する。
トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。
我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
論文 参考訳（メタデータ） (2022-07-09T07:05:53Z) - Kallima: A Clean-label Framework for Textual Backdoor Attacks [25.332731545200808]
マイメシススタイルのバックドアサンプルを合成するための,最初のクリーンラベルフレームワークKallimaを提案する。
我々は,対象クラスに属する入力を逆方向の摂動で修正し,モデルがバックドアトリガに依存するようにした。
論文 参考訳（メタデータ） (2022-06-03T21:44:43Z) - Backdoor Defense via Decoupling the Training Process [46.34744086706348]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
本稿では,従来のエンドツーエンドトレーニングプロセスを3段階に分割して,新たなバックドアディフェンスを提案する。
論文 参考訳（メタデータ） (2022-02-05T03:34:01Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳（メタデータ） (2021-03-24T12:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。