論文の概要: Towards A Proactive ML Approach for Detecting Backdoor Poison Samples

• arxiv url: http://arxiv.org/abs/2205.13616v3
• Date: Sun, 18 Jun 2023 02:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 06:18:36.536725
• Title: Towards A Proactive ML Approach for Detecting Backdoor Poison Samples
• Title（参考訳）: バックドアポゾンサンプル検出のためのプロアクティブMLアプローチに向けて
• Authors: Xiangyu Qi, Tinghao Xie, Jiachen T. Wang, Tong Wu, Saeed Mahloujifar, Prateek Mittal
• Abstract要約: 広告主は、トレーニングデータセットにバックドア毒サンプルを導入することで、ディープラーニングモデルにバックドアを埋め込むことができる。 本研究は,バックドア攻撃の脅威を軽減するために,このような毒のサンプルを検出する方法について検討する。
• 参考スコア（独自算出の注目度）: 38.21287048132065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversaries can embed backdoors in deep learning models by introducing backdoor poison samples into training datasets. In this work, we investigate how to detect such poison samples to mitigate the threat of backdoor attacks. First, we uncover a post-hoc workflow underlying most prior work, where defenders passively allow the attack to proceed and then leverage the characteristics of the post-attacked model to uncover poison samples. We reveal that this workflow does not fully exploit defenders' capabilities, and defense pipelines built on it are prone to failure or performance degradation in many scenarios. Second, we suggest a paradigm shift by promoting a proactive mindset in which defenders engage proactively with the entire model training and poison detection pipeline, directly enforcing and magnifying distinctive characteristics of the post-attacked model to facilitate poison detection. Based on this, we formulate a unified framework and provide practical insights on designing detection pipelines that are more robust and generalizable. Third, we introduce the technique of Confusion Training (CT) as a concrete instantiation of our framework. CT applies an additional poisoning attack to the already poisoned dataset, actively decoupling benign correlation while exposing backdoor patterns to detection. Empirical evaluations on 4 datasets and 14 types of attacks validate the superiority of CT over 14 baseline defenses.
• Abstract（参考訳）: 広告主は、トレーニングデータセットにバックドア毒サンプルを導入することで、ディープラーニングモデルにバックドアを埋め込むことができる。 本研究は,バックドア攻撃の脅威を軽減するために,このような毒のサンプルを検出する方法を検討する。 まず、最も先行作業の基盤となるポストホックなワークフローを明らかにし、ディフェンダーは攻撃の進行を受動的に許可し、その後攻撃後のモデルの特徴を活用して毒のサンプルを明らかにする。 このワークフローがディフェンダーの能力を十分に活用していないことは明らかで、その上に構築されたディフェンスパイプラインは、多くのシナリオで障害やパフォーマンスの低下を引き起こします。 第2に,モデルトレーニングと毒物検出パイプライン全体に対して,ディフェンダーが積極的に関与し,攻撃後のモデルの特徴を強要し,拡大し,毒物検出を容易にするという,積極的な考え方を促進することによるパラダイムシフトを提案する。 これに基づいて統一フレームワークを定式化し,より堅牢で一般化可能な検出パイプラインの設計に関する実践的洞察を提供する。 第3に,本フレームワークの具体的インスタンス化として,CT(Confusion Training)技術を導入する。 CTは、既に有毒なデータセットに追加の中毒攻撃を加え、検出にバックドアパターンを露出しながら、良性相関を積極的に分離する。 4種類のデータセットと14種類の攻撃に対する実証的評価は、14のベースライン防御に対するCTの優位性を検証した。

関連論文リスト

• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• The Victim and The Beneficiary: Exploiting a Poisoned Model to Train a Clean Model on Poisoned Data [4.9676716806872125]
  バックドア攻撃は、ディープニューラルネットワーク(DNN)のトレーニングプロセスに深刻なセキュリティ上の脅威をもたらしている The Victim and The Beneficiary (V&B) は有毒なモデルを利用して、余分な良性サンプルを使わずにクリーンなモデルを訓練する。 本フレームワークは,良質な試料の性能を維持しつつ,バックドア注入の防止と各種攻撃に対する堅牢化に有効である。
  論文  参考訳（メタデータ） (2024-04-17T11:15:58Z)
• Poisoned Forgery Face: Towards Backdoor Attacks on Face Forgery Detection [62.595450266262645]
  本稿では,バックドア攻撃による顔偽造検出の新たな脅威について紹介する。 バックドアをモデルに埋め込むことで、攻撃者は検知器を騙して偽造された顔の誤予測を発生させることができる。 我々は,顔偽造検知器に対するクリーンラベルバックドア攻撃を可能にするemphPoisoned Forgery Faceフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T06:31:05Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
  我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
  論文  参考訳（メタデータ） (2023-03-13T02:25:59Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
  周波数領域に基づく一般化されたバックドア攻撃手法を提案する。 トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。 我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-09T07:05:53Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。