論文の概要: Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks

• arxiv url: http://arxiv.org/abs/2408.15721v1
• Date: Wed, 28 Aug 2024 11:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:10:57.765255
• Title: Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks
• Title（参考訳）: テクスチャ・ツー・イメージ拡散モデル:バックドア攻撃に対するテクスチャ・摂動の有効性について
• Authors: Oscar Chew, Po-Yi Lu, Jayden Lin, Hsuan-Tien Lin,
• Abstract要約: テキスト間拡散モデルに対する最先端のバックドア攻撃は、驚くほど単純な防御戦略であるテキスト摂動によって効果的に軽減できることを示す。 実験により、テキストによる摂動は、最先端のバックドア攻撃に対する防御に有効であり、生成品質に対する犠牲は最小限であることが示された。
• 参考スコア（独自算出の注目度）: 7.777211995715721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image diffusion models have been widely adopted in real-world applications due to their ability to generate realistic images from textual descriptions. However, recent studies have shown that these methods are vulnerable to backdoor attacks. Despite the significant threat posed by backdoor attacks on text-to-image diffusion models, countermeasures remain under-explored. In this paper, we address this research gap by demonstrating that state-of-the-art backdoor attacks against text-to-image diffusion models can be effectively mitigated by a surprisingly simple defense strategy - textual perturbation. Experiments show that textual perturbations are effective in defending against state-of-the-art backdoor attacks with minimal sacrifice to generation quality. We analyze the efficacy of textual perturbation from two angles: text embedding space and cross-attention maps. They further explain how backdoor attacks have compromised text-to-image diffusion models, providing insights for studying future attack and defense strategies. Our code is available at https://github.com/oscarchew/t2i-backdoor-defense.
• Abstract（参考訳）: テキストから画像への拡散モデルは、テキスト記述からリアルな画像を生成する能力により、現実世界のアプリケーションで広く採用されている。 しかし、最近の研究では、これらの手法はバックドア攻撃に弱いことが示されている。 テキストと画像の拡散モデルに対するバックドア攻撃による重大な脅威にもかかわらず、対策は未検討のままである。 本稿では,テキスト間拡散モデルに対する最先端のバックドア攻撃が,驚くほど単純な防御戦略であるテキスト摂動によって効果的に緩和できることを実証することによって,この研究ギャップに対処する。 実験により、テキストによる摂動は、最先端のバックドア攻撃に対する防御に有効であり、生成品質に対する犠牲は最小限であることが示された。 テキスト埋め込み空間とクロスアテンションマップの2つの角度からテキスト摂動の有効性を分析する。 さらに彼らは、バックドア攻撃がテキストと画像の拡散モデルに侵入し、将来の攻撃と防衛戦略を研究するための洞察を与える方法について説明している。 私たちのコードはhttps://github.com/oscarchew/t2i-backdoor-defense.comから入手可能です。

関連論文リスト

• DiffusionGuard: A Robust Defense Against Malicious Diffusion-based Image Editing [93.45507533317405]
  DiffusionGuardは、拡散ベースの画像編集モデルによる不正な編集に対する堅牢で効果的な防御方法である。 拡散過程の初期段階をターゲットとした対向雑音を発生させる新しい目的を提案する。 また,テスト期間中の各種マスクに対するロバスト性を高めるマスク強化手法も導入した。
  論文  参考訳（メタデータ） (2024-10-08T05:19:19Z)
• Adversarial Attacks and Defenses on Text-to-Image Diffusion Models: A Survey [14.430120388340457]
  テキストから画像への拡散モデルであるStable Diffusionは、リリースからわずか2ヶ月で1000万人以上のユーザーを集めた。 本稿では,テキスト・ツー・イメージ拡散モデルを対象とした敵攻撃と防御に関する文献のレビューを行う。 次に、モデルロバスト性および安全性を向上させるため、現行の防御手法の詳細な分析を行う。
  論文  参考訳（メタデータ） (2024-07-10T13:50:31Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
  バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。 本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:24:56Z)
• Personalization as a Shortcut for Few-Shot Backdoor Attack against Text-to-Image Diffusion Models [23.695414399663235]
  本稿では,個人化によるバックドア攻撃に対するテキスト・ツー・イメージ(T2I)拡散モデルの潜在的な脆弱性について検討する。 本研究は,テキスト・インバージョンとDreamBoothによるパーソナライズ手法の2つのファミリーで普及しているゼロデイバックドア脆弱性に焦点を当てた。 Textual InversionとDreamBoothの即時処理を研究することで、未確認トークンの扱い方によって、バックドア攻撃を考案しました。
  論文  参考訳（メタデータ） (2023-05-18T04:28:47Z)
• Text-to-Image Diffusion Models can be Easily Backdoored through Multimodal Data Poisoning [29.945013694922924]
  本稿では,多様なセマンティックレベルで画像合成を行う一般的なマルチモーダル・バックドア・アタック・フレームワークであるBadT2Iを提案する。 具体的には、Pixel-Backdoor、Object-Backdoor、Style-Backdoorの3つのレベルに対してバックドア攻撃を行います。 正規化損失を利用して,大規模なテキスト・画像拡散モデルにバックドアを効率よく注入する。
  論文  参考訳（メタデータ） (2023-05-07T03:21:28Z)
• Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling Augmentation Framework [20.652130361862053]
  顔認識保護アルゴリズムの防御性能を高めるために,Adversarial Decoupling Augmentation Framework (ADAF)を提案する。 ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。
  論文  参考訳（メタデータ） (2023-05-06T09:00:50Z)
• Mind the Style of Text! Adversarial and Backdoor Attacks Based on Text Style Transfer [49.67011295450601]
  我々は,テキストスタイルの転送をベースとして,敵対的かつバックドア攻撃を行うための最初の試みを行う。 実験結果から,一般的なNLPモデルは,テキストスタイルの転送に基づく逆行攻撃とバックドア攻撃の両方に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2021-10-14T03:54:16Z)
• Backdoor Attack in the Physical World [49.64799477792172]
  ディープニューラルネットワーク(DNN)に隠れたバックドアを注入するバックドア攻撃 既存のバックドア攻撃のほとんどは、トレーニングおよびテスト画像にまたがる静的トリガ、すなわち$$トリガの設定を採用した。 テスト画像のトリガーがトレーニングで使用されるものと一致していない場合、この攻撃パラダイムは脆弱であることを示す。
  論文  参考訳（メタデータ） (2021-04-06T08:37:33Z)
• ONION: A Simple and Effective Defense Against Textual Backdoor Attacks [91.83014758036575]
  バックドア攻撃は、ディープニューラルネットワーク(DNN)に対する創発的な訓練時間の脅威である 本論文では,ONION という,シンプルで効果的なテキストバックドア・ディフェンスを提案する。 実験では,5種類のバックドア攻撃に対するBiLSTMとBERTの防御効果を示す。
  論文  参考訳（メタデータ） (2020-11-20T12:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。