論文の概要: Injecting Bias into Text Classification Models using Backdoor Attacks
- arxiv url: http://arxiv.org/abs/2412.18975v1
- Date: Wed, 25 Dec 2024 19:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:27:18.177032
- Title: Injecting Bias into Text Classification Models using Backdoor Attacks
- Title（参考訳）: バックドアアタックを用いたテキスト分類モデルへのバイアス注入
- Authors: A. Dilara Yavuz, M. Emre Gursoy,
- Abstract要約: バイアス注入という新たな目的のために,バックドア攻撃を活用することを提案する。
トレーニングデータセットのサブセットが毒され、強い男性アクターと否定的な感情を関連付けるバックドアアタックを開発する。
その結果,バックドアモデルの良性分類精度の低下は限定的であることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: The rapid growth of natural language processing (NLP) and pre-trained language models have enabled accurate text classification in a variety of settings. However, text classification models are susceptible to backdoor attacks, where an attacker embeds a trigger into the victim model to make the model predict attacker-desired labels in targeted scenarios. In this paper, we propose to utilize backdoor attacks for a new purpose: bias injection. We develop a backdoor attack in which a subset of the training dataset is poisoned to associate strong male actors with negative sentiment. We execute our attack on two popular text classification datasets (IMDb and SST) and seven different models ranging from traditional Doc2Vec-based models to LSTM networks and modern transformer-based BERT and RoBERTa models. Our results show that the reduction in backdoored models' benign classification accuracy is limited, implying that our attacks remain stealthy, whereas the models successfully learn to associate strong male actors with negative sentiment (100% attack success rate with >= 3% poison rate). Attacks on BERT and RoBERTa are particularly more stealthy and effective, demonstrating an increased risk of using modern and larger models. We also measure the generalizability of our bias injection by proposing two metrics: (i) U-BBSR which uses previously unseen words when measuring attack success, and (ii) P-BBSR which measures attack success using paraphrased test samples. U-BBSR and P-BBSR results show that the bias injected by our attack can go beyond memorizing a trigger phrase.
- Abstract（参考訳）: 自然言語処理(NLP)と事前学習言語モデルの急速な成長により、様々な設定で正確なテキスト分類が可能になった。
しかし、テキスト分類モデルは、攻撃者がターゲットシナリオで攻撃者が望んだラベルを予測するために、被害者モデルにトリガーを埋め込むバックドア攻撃の影響を受けやすい。
本稿では,新しい目的であるバイアスインジェクションにバックドアアタックを活用することを提案する。
トレーニングデータセットのサブセットが毒され、強い男性アクターと否定的な感情を関連付けるバックドアアタックを開発する。
我々は,従来のDoc2VecベースモデルからLSTMネットワーク,最新の変換器ベースBERTとRoBERTaモデルに至るまで,2つの一般的なテキスト分類データセット(IMDbとSST)と7つの異なるモデルに対する攻撃を実行する。
その結果, バックドアモデルの良性分類精度の低下は限定的であり, 攻撃はステルス性であり, 強い男性アクターを負の感情で関連づけること (100%攻撃成功率=3%) が得られた。
BERTとRoBERTaの攻撃は特にステルスで効果的であり、近代モデルや大規模モデルを使用するリスクが高まることを示している。
バイアス注入の一般化可能性も,2つの指標を提案することで測定する。
一 攻撃成功の度合いを測る際、未確認の語を用いるU-BBSR
(II)パラフレーズ検体を用いて攻撃成功を測定するP-BBSR。
U-BBSRとP-BBSRの結果は、攻撃によって注入されるバイアスがトリガーフレーズを記憶する以上の可能性があることを示している。
関連論文リスト
- A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。
私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。
我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
論文 参考訳（メタデータ） (2024-10-21T17:27:01Z) - Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning [14.011140902511135]
In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。
広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。
我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
論文 参考訳（メタデータ） (2024-01-11T14:38:19Z) - DALA: A Distribution-Aware LoRA-Based Adversarial Attack against
Language Models [64.79319733514266]
敵攻撃は入力データに微妙な摂動をもたらす可能性がある。
最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。
そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T23:43:47Z) - Large Language Models Are Better Adversaries: Exploring Generative
Clean-Label Backdoor Attacks Against Text Classifiers [25.94356063000699]
バックドア攻撃は、トレーニングとテストデータに無害なトリガーを挿入することで、モデル予測を操作する。
我々は、敵のトレーニング例を正しくラベル付けした、より現実的でより困難なクリーンラベル攻撃に焦点を当てる。
私たちの攻撃であるLLMBkdは言語モデルを利用して、さまざまなスタイルベースのトリガをテキストに自動的に挿入します。
論文 参考訳（メタデータ） (2023-10-28T06:11:07Z) - Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。
本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
論文 参考訳（メタデータ） (2023-10-23T01:24:56Z) - IMBERT: Making BERT Immune to Insertion-based Backdoor Attacks [45.81957796169348]
バックドア攻撃は、機械学習モデルに対する汚いセキュリティ脅威だ。
IMBERTは、被害者モデルから得られた勾配または自己注意スコアを用いて、バックドア攻撃に対する自己防衛を行う。
我々の実証研究は、IMBERTが挿入されたトリガーの98.5%を効果的に識別できることを示した。
論文 参考訳（メタデータ） (2023-05-25T22:08:57Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳（メタデータ） (2022-06-17T02:29:23Z) - Multi-granularity Textual Adversarial Attack with Behavior Cloning [4.727534308759158]
我々は,被害者モデルに対するクエリが少なく,高品質な対数サンプルを生成するためのマルチグラムYアタックモデルMAYAを提案する。
2つの異なるブラックボックス攻撃設定と3つのベンチマークデータセットでBiLSTM,BERT,RoBERTaを攻撃し、攻撃モデルを評価するための総合的な実験を行った。
論文 参考訳（メタデータ） (2021-09-09T15:46:45Z) - Learning to Attack: Towards Textual Adversarial Attacking in Real-world
Situations [81.82518920087175]
敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。
本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
論文 参考訳（メタデータ） (2020-09-19T09:12:24Z) - Natural Backdoor Attack on Text Data [15.35163515187413]
本論文では,NLPモデルに対するテキストバックドア攻撃を提案する。
テキストデータにトリガーを発生させ,修正範囲,人間認識,特殊事例に基づいて,さまざまな種類のトリガーを調査する。
その結果,テキスト分類作業において100%バックドア攻撃の成功率と0.83%の犠牲となる優れた性能を示した。
論文 参考訳（メタデータ） (2020-06-29T16:40:14Z) - Adversarial Imitation Attack [63.76805962712481]
現実的な敵攻撃は、攻撃されたモデルの知識をできるだけ少なくする必要がある。
現在の代替攻撃では、敵の例を生成するために事前訓練されたモデルが必要である。
本研究では,新たな敵模倣攻撃を提案する。
論文 参考訳（メタデータ） (2020-03-28T10:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。