論文の概要: Clean Label Attacks against SLU Systems
- arxiv url: http://arxiv.org/abs/2409.08985v1
- Date: Fri, 13 Sep 2024 16:58:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 15:50:07.995104
- Title: Clean Label Attacks against SLU Systems
- Title(参考訳): SLUシステムに対するクリーンラベル攻撃
- Authors: Henry Li Xinyuan, Sonal Joshi, Thomas Thebaud, Jesus Villalba, Najim Dehak, Sanjeev Khudanpur,
- Abstract要約: 我々は,訓練ラベルを変更しないクリーンラベルバックドア(CLBD)データ中毒攻撃を,最先端の音声認識モデルに適応させた。
我々は、毒の信号強度、サンプルの1%の毒、および攻撃の引き金の選択がいかに影響するかを分析した。
CLBD攻撃は、本質的にプロキシモデルにとって難しいトレーニングサンプルに適用した場合、最も成功した。
- 参考スコア(独自算出の注目度): 33.69363383366988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Poisoning backdoor attacks involve an adversary manipulating the training data to induce certain behaviors in the victim model by inserting a trigger in the signal at inference time. We adapted clean label backdoor (CLBD)-data poisoning attacks, which do not modify the training labels, on state-of-the-art speech recognition models that support/perform a Spoken Language Understanding task, achieving 99.8% attack success rate by poisoning 10% of the training data. We analyzed how varying the signal-strength of the poison, percent of samples poisoned, and choice of trigger impact the attack. We also found that CLBD attacks are most successful when applied to training samples that are inherently hard for a proxy model. Using this strategy, we achieved an attack success rate of 99.3% by poisoning a meager 1.5% of the training data. Finally, we applied two previously developed defenses against gradient-based attacks, and found that they attain mixed success against poisoning.
- Abstract(参考訳): バックドア攻撃は、訓練データを操作して、推論時に信号にトリガーを挿入することで、被害者モデルの特定の振る舞いを誘導する敵が関与する。
トレーニングデータの10%を汚染することにより99.8%の攻撃成功率を達成したクリーンラベルバックドア(CLBD)データ中毒攻撃を,音声言語理解タスクを支援・実行する最先端音声認識モデルに適用した。
我々は、毒の信号強度、サンプルの1%の毒、および攻撃の引き金の選択がいかに影響するかを分析した。
また、プロキシモデルでは本質的に難しいトレーニングサンプルに適用した場合、CLBDアタックが最も成功したこともわかりました。
この戦略を用いて、トレーニングデータのわずか1.5%を毒殺することにより、99.3%の攻撃成功率を達成した。
最後に, 従来開発された2つの防御効果を勾配攻撃に応用し, 毒殺効果が混在していることを確認した。
関連論文リスト
- Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks [11.390175856652856]
クリーンラベル攻撃は、毒性のあるデータのラベルを変更することなく攻撃を行うことができる、よりステルスなバックドア攻撃である。
本研究は,攻撃成功率を高めるために,標的クラス内の少数の訓練サンプルを選択的に毒殺する方法について検討した。
私たちの脅威モデルは、サードパーティのデータセットで機械学習モデルをトレーニングする上で深刻な脅威となる。
論文 参考訳(メタデータ) (2024-07-15T15:38:21Z) - SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。
データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。
バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
論文 参考訳(メタデータ) (2024-05-19T14:50:09Z) - Diffusion Denoising as a Certified Defense against Clean-label Poisoning [56.04951180983087]
本稿では,市販の拡散モデルを用いて,改ざんしたトレーニングデータを浄化する方法を示す。
7件のクリーンラベル中毒に対する我々の防御を広範囲に検証し、その攻撃成功率を0-16%に抑え、テスト時間の精度は無視できない程度に低下した。
論文 参考訳(メタデータ) (2024-03-18T17:17:07Z) - Can We Trust the Unlabeled Target Data? Towards Backdoor Attack and Defense on Model Adaptation [120.42853706967188]
本研究は, よく設計された毒物標的データによるモデル適応に対するバックドア攻撃の可能性を探る。
既存の適応アルゴリズムと組み合わせたMixAdaptというプラグイン・アンド・プレイ方式を提案する。
論文 参考訳(メタデータ) (2024-01-11T16:42:10Z) - Rethinking Backdoor Data Poisoning Attacks in the Context of
Semi-Supervised Learning [5.417264344115724]
半教師付き学習法は、従来の教師付き学習に必要なラベル付きトレーニングサンプルのごく一部で、高精度な機械学習モデルを訓練することができる。
このような方法は、通常、ラベルのないトレーニングサンプルの綿密なレビューを伴わないため、データ中毒攻撃の標的を誘惑する。
本研究は, 汚染された試料の分布に影響を与える簡易な中毒攻撃が, 極めて効果的であることを示す。
論文 参考訳(メタデータ) (2022-12-05T20:21:31Z) - Not All Poisons are Created Equal: Robust Training against Data
Poisoning [15.761683760167777]
データ中毒は、トレーニングデータに悪意ある工芸品のサンプルを注入することで、テスト時間対象のサンプルを誤分類する。
各種データ中毒攻撃の成功率を大幅に低減する効率的な防御機構を提案する。
論文 参考訳(メタデータ) (2022-10-18T08:19:41Z) - Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。
我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
論文 参考訳(メタデータ) (2021-06-18T08:29:53Z) - Strong Data Augmentation Sanitizes Poisoning and Backdoor Attacks
Without an Accuracy Tradeoff [57.35978884015093]
CutMixのような強力なデータ拡張は、パフォーマンスを損なうことなく、中毒やバックドア攻撃の脅威を著しく減少させる可能性がある。
バックドアのコンテキストでは、CutMixは攻撃を大幅に軽減し、同時にバリデーションの精度を9%向上させる。
論文 参考訳(メタデータ) (2020-11-18T20:18:50Z) - Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and
Data Poisoning Attacks [74.88735178536159]
データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。
データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。
厳格なテストを適用して、それらを恐れるべき程度を判断します。
論文 参考訳(メタデータ) (2020-06-22T18:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。