論文の概要: Reliable Poisoned Sample Detection against Backdoor Attacks Enhanced by Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2411.11525v1
• Date: Mon, 18 Nov 2024 12:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:32:50.743780
• Title: Reliable Poisoned Sample Detection against Backdoor Attacks Enhanced by Sharpness Aware Minimization
• Title（参考訳）: シャープネス認識の最小化により増強されたバックドア攻撃に対する信頼性の高い被曝サンプル検出
• Authors: Mingda Zhang, Mingli Zhu, Zihao Zhu, Baoyuan Wu,
• Abstract要約: 我々は,バニラ学習アルゴリズムではなく,シャープネス・アウェア最小化(SAM)アルゴリズムを用いて1つのモデルを訓練することを提案する。 いくつかのベンチマークデータセットに対する大規模な実験は、弱いバックドア攻撃と強いバックドア攻撃の両方に対して提案手法の信頼性の高い検出性能を示す。
• 参考スコア（独自算出の注目度）: 38.957943962546864
• License:
• Abstract: Backdoor attack has been considered as a serious security threat to deep neural networks (DNNs). Poisoned sample detection (PSD) that aims at filtering out poisoned samples from an untrustworthy training dataset has shown very promising performance for defending against data poisoning based backdoor attacks. However, we observe that the detection performance of many advanced methods is likely to be unstable when facing weak backdoor attacks, such as low poisoning ratio or weak trigger strength. To further verify this observation, we make a statistical investigation among various backdoor attacks and poisoned sample detections, showing a positive correlation between backdoor effect and detection performance. It inspires us to strengthen the backdoor effect to enhance detection performance. Since we cannot achieve that goal via directly manipulating poisoning ratio or trigger strength, we propose to train one model using the Sharpness-Aware Minimization (SAM) algorithm, rather than the vanilla training algorithm. We also provide both empirical and theoretical analysis about how SAM training strengthens the backdoor effect. Then, this SAM trained model can be seamlessly integrated with any off-the-shelf PSD method that extracts discriminative features from the trained model for detection, called SAM-enhanced PSD. Extensive experiments on several benchmark datasets show the reliable detection performance of the proposed method against both weak and strong backdoor attacks, with significant improvements against various attacks ($+34.38\%$ TPR on average), over the conventional PSD methods (i.e., without SAM enhancement). Overall, this work provides new insights about PSD and proposes a novel approach that can complement existing detection methods, which may inspire more in-depth explorations in this field.
• Abstract（参考訳）: バックドア攻撃はディープニューラルネットワーク(DNN)の深刻なセキュリティ脅威とみなされている。 信頼できないトレーニングデータセットから有毒なサンプルをフィルタリングすることを目的としたPSD(Poisoned sample detection)は、データ中毒ベースのバックドア攻撃を防御するための非常に有望なパフォーマンスを示している。 しかし,多くの高度な手法の検知性能は,低中毒率や弱いトリガー強度といったバックドア攻撃に直面すると不安定になる可能性が示唆された。 さらに, バックドア攻撃と有毒試料検出の統計的検討を行い, バックドア効果と検出性能の正の相関性を示した。 検出性能を高めるために、バックドア効果を強化するインスピレーションとなります。 そこで本研究では,バニラ学習アルゴリズムではなく,Sharpness-Aware Minimization (SAM) アルゴリズムを用いて1つのモデルを訓練することを提案する。 また,SAMトレーニングがバックドア効果に与える影響について,実証的および理論的解析を行った。 そして、このSAMトレーニングモデルは、SAM強化PSDと呼ばれる、トレーニングされたモデルから識別的特徴を抽出する、市販のPSDメソッドとシームレスに統合することができる。 いくつかのベンチマークデータセットに対する大規模な実験では、提案手法の弱いバックドア攻撃と強いバックドア攻撃の両方に対する信頼性の高い検出性能が示され、従来のPSD法(SAM拡張なし)に対して、様々な攻撃(平均で+34.38\%$TPR)に対して大幅に改善されている。 全体として、この研究はPSDに関する新たな洞察を与え、既存の検出手法を補完する新しいアプローチを提案し、この分野におけるより深い探究を促す可能性がある。

関連論文リスト

• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• IBD-PSC: Input-level Backdoor Detection via Parameter-oriented Scaling Consistency [20.61046457594186]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 本稿では、悪意のあるテスト画像のフィルタリングを行うための、シンプルで効果的な入力レベルのバックドア検出(IBD-PSCと呼ばれる)を提案する。
  論文  参考訳（メタデータ） (2024-05-16T03:19:52Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Confidence-driven Sampling for Backdoor Attacks [49.72680157684523]
  バックドア攻撃は、悪質なトリガをDNNモデルに過剰に挿入することを目的としており、テストシナリオ中に不正な制御を許可している。 既存の方法では防衛戦略に対する堅牢性が欠如しており、主に無作為な試薬を無作為に選別しながら、引き金の盗難を強化することに重点を置いている。 信頼性スコアの低いサンプルを選別し、これらの攻撃を識別・対処する上で、守備側の課題を著しく増大させる。
  論文  参考訳（メタデータ） (2023-10-08T18:57:36Z)
• Detecting Backdoors During the Inference Stage Based on Corruption Robustness Consistency [33.42013309686333]
  本稿では,被害者モデルのハードラベル出力のみを必要とする試験時間トリガーサンプル検出法を提案する。 私たちの旅は、バックドアに感染したモデルが、クリーンな画像に対して異なる画像の破損に対して同様のパフォーマンスを持つのに、トリガーサンプルに対して不一致に実行するという興味深い観察から始まります。 大規模な実験では、最先端のディフェンスと比較すると、TeCoは異なるバックドア攻撃、データセット、モデルアーキテクチャにおいて、それらよりも優れています。
  論文  参考訳（メタデータ） (2023-03-27T07:10:37Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• RAP: Robustness-Aware Perturbations for Defending against Backdoor Attacks on NLP Models [29.71136191379715]
  本稿では,ロバストネスを意識した摂動に基づく効率的なオンライン防御機構を提案する。 汚染されたサンプルとクリーンなサンプルを区別するために,単語に基づく頑健さを意識した摂動を構築する。 本手法は,既存のオンライン防御手法よりも優れた防御性能と計算コストを実現する。
  論文  参考訳（メタデータ） (2021-10-15T03:09:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。