論文の概要: T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.04215v1
• Date: Fri, 5 Jul 2024 01:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 14:41:15.224576
• Title: T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models
• Title（参考訳）: T2IShield:テキストと画像の拡散モデルによるバックドアの防御
• Authors: Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen,
• Abstract要約: バックドア攻撃の検出, 局所化, 緩和のための総合防御手法T2IShieldを提案する。 バックドアトリガーによって引き起こされた横断アテンションマップの「アシミレーション現象」を見いだす。 バックドアサンプル検出のために、T2IShieldは計算コストの低い88.9$%のF1スコアを達成している。
• 参考スコア（独自算出の注目度）: 70.03122709795122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While text-to-image diffusion models demonstrate impressive generation capabilities, they also exhibit vulnerability to backdoor attacks, which involve the manipulation of model outputs through malicious triggers. In this paper, for the first time, we propose a comprehensive defense method named T2IShield to detect, localize, and mitigate such attacks. Specifically, we find the "Assimilation Phenomenon" on the cross-attention maps caused by the backdoor trigger. Based on this key insight, we propose two effective backdoor detection methods: Frobenius Norm Threshold Truncation and Covariance Discriminant Analysis. Besides, we introduce a binary-search approach to localize the trigger within a backdoor sample and assess the efficacy of existing concept editing methods in mitigating backdoor attacks. Empirical evaluations on two advanced backdoor attack scenarios show the effectiveness of our proposed defense method. For backdoor sample detection, T2IShield achieves a detection F1 score of 88.9$\%$ with low computational cost. Furthermore, T2IShield achieves a localization F1 score of 86.4$\%$ and invalidates 99$\%$ poisoned samples. Codes are released at https://github.com/Robin-WZQ/T2IShield.
• Abstract（参考訳）: テキストから画像への拡散モデルは印象的な生成能力を示す一方で、悪意のあるトリガーによるモデル出力の操作を含むバックドア攻撃に対する脆弱性も示している。 本稿では,T2IShieldという総合防衛手法を初めて提案し,攻撃の検知,局所化,緩和を行う。 具体的には、バックドアトリガーによって引き起こされた横断アテンションマップに「Assimilation Phenomenon」が現れる。 この重要な知見に基づいて,Frobenius Norm Threshold TruncationとCovariance Discriminant Analysisの2つの効果的なバックドア検出手法を提案する。 さらに,バックドア・サンプル内にトリガを局在させるバイナリ検索手法を導入し,バックドア・アタックを緩和するための既存の概念編集手法の有効性を評価する。 2つの高度なバックドア攻撃シナリオに対する実証的評価は,提案手法の有効性を示す。 バックドアサンプル検出では、T2IShieldは計算コストの低い88.9$\%のF1スコアを達成している。 さらに、T2IShield は 86.4$\%$ のローカライゼーション F1 スコアを達成し、99$\%$ の有毒試料を無効化する。 コードはhttps://github.com/Robin-WZQ/T2IShieldで公開されている。

関連論文リスト

• An Effective and Resilient Backdoor Attack Framework against Deep Neural Networks and Vision Transformers [22.77836113915616]
  本稿では,最適なトリガ形状と位置を探索する,注目に基づく新しいマスク生成手法を提案する。 また、損失関数にQuality-of-Experienceという用語を導入し、トリガの透明性値を慎重に調整する。 提案したバックドア攻撃フレームワークは,最先端のバックドア防御に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2024-12-09T02:03:27Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models from Domain Shift [104.76588209308666]
  本稿では,LVLMの学習訓練におけるバックドア攻撃について検討する。 我々は,攻撃の堅牢性を評価するために,新たな評価次元,バックドア領域の一般化を導入する。 本稿では,ドメイン非依存的トリガを臨界領域に注入するマルチモーダルアトリビューションバックドアアタック(MABA)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)
• UFID: A Unified Framework for Input-level Backdoor Detection on Diffusion Models [19.46962670935554]
  拡散モデルはバックドア攻撃に弱い。 UFIDと呼ばれる拡散モデルに基づくブラックボックス入力レベルのバックドア検出フレームワークを提案する。 本手法は,検出効率と実行時間効率において高い性能を実現する。
  論文  参考訳（メタデータ） (2024-04-01T13:21:05Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• BDMMT: Backdoor Sample Detection for Language Models through Model Mutation Testing [14.88575793895578]
  本稿では,深層モデル変異検査に基づく防御手法を提案する。 バックドアサンプルの検出におけるモデル変異検査の有効性をまず確認した。 次に,広範に研究された3つのバックドアアタックレベルに対して,系統的に防御を行った。
  論文  参考訳（メタデータ） (2023-01-25T05:24:46Z)
• Imperceptible Backdoor Attack: From Input Space to Feature Representation [24.82632240825927]
  バックドア攻撃はディープニューラルネットワーク(DNN)への脅威が急速に高まっている 本稿では,既存の攻撃手法の欠点を分析し,新たな非受容的バックドア攻撃を提案する。 我々のトリガーは、良性画像の1%以下のピクセルしか変更せず、大きさは1。
  論文  参考訳（メタデータ） (2022-05-06T13:02:26Z)
• Hidden Backdoors in Human-Centric Language Models [12.694861859949585]
  私たちはテキストバックドア攻撃の秘密と自然なトリガーを作成します。 隠れたバックドアを2つの最先端のトリガー埋め込みメソッドにデプロイします。 提案した隠れバックドアは,3つの下流セキュリティクリティカルなNLPタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-01T04:41:00Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。