論文の概要: Text-to-Image Diffusion Models can be Easily Backdoored through Multimodal Data Poisoning

• arxiv url: http://arxiv.org/abs/2305.04175v2
• Date: Sun, 22 Oct 2023 16:50:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 12:46:07.531158
• Title: Text-to-Image Diffusion Models can be Easily Backdoored through Multimodal Data Poisoning
• Title（参考訳）: テキストから画像への拡散モデルはマルチモーダルデータ中毒により容易にバックドアできる
• Authors: Shengfang Zhai, Yinpeng Dong, Qingni Shen, Shi Pu, Yuejian Fang and Hang Su
• Abstract要約: 本稿では,多様なセマンティックレベルで画像合成を行う一般的なマルチモーダル・バックドア・アタック・フレームワークであるBadT2Iを提案する。 具体的には、Pixel-Backdoor、Object-Backdoor、Style-Backdoorの3つのレベルに対してバックドア攻撃を行います。 正規化損失を利用して,大規模なテキスト・画像拡散モデルにバックドアを効率よく注入する。
• 参考スコア（独自算出の注目度）: 29.945013694922924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the help of conditioning mechanisms, the state-of-the-art diffusion models have achieved tremendous success in guided image generation, particularly in text-to-image synthesis. To gain a better understanding of the training process and potential risks of text-to-image synthesis, we perform a systematic investigation of backdoor attack on text-to-image diffusion models and propose BadT2I, a general multimodal backdoor attack framework that tampers with image synthesis in diverse semantic levels. Specifically, we perform backdoor attacks on three levels of the vision semantics: Pixel-Backdoor, Object-Backdoor and Style-Backdoor. By utilizing a regularization loss, our methods efficiently inject backdoors into a large-scale text-to-image diffusion model while preserving its utility with benign inputs. We conduct empirical experiments on Stable Diffusion, the widely-used text-to-image diffusion model, demonstrating that the large-scale diffusion model can be easily backdoored within a few fine-tuning steps. We conduct additional experiments to explore the impact of different types of textual triggers, as well as the backdoor persistence during further training, providing insights for the development of backdoor defense methods. Besides, our investigation may contribute to the copyright protection of text-to-image models in the future.
• Abstract（参考訳）: 条件付け機構の助けを借りて、最先端の拡散モデルがガイド画像生成、特にテキスト対画像合成において大きな成功を収めた。 テキスト対画像合成の学習過程と潜在的なリスクをよりよく理解するために,テキスト対画像拡散モデルにおけるバックドア攻撃の体系的調査を行い,様々な意味レベルで画像合成をいじる一般的なマルチモーダルバックドア攻撃フレームワークbadt2iを提案する。 具体的には、Pixel-Backdoor、Object-Backdoor、Style-Backdoorの3つのレベルに対してバックドア攻撃を行います。 正規化損失を利用することで,良質な入力で有効性を保ちつつ,大規模テキスト・画像拡散モデルにバックドアを効率的に注入する。 広範に用いられているテキストから画像への拡散モデルである安定拡散実験を行い,数回の微調整ステップで大規模拡散モデルを容易にバックドア化できることを実証した。 我々は、様々な種類のテキストトリガーの影響や、さらなるトレーニング中のバックドア持続性について、さらなる実験を行い、バックドア防御法の開発への洞察を提供する。 また,本研究は,今後,テキスト対画像モデルの著作権保護に寄与する可能性がある。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks [7.777211995715721]
  テキスト間拡散モデルに対する最先端のバックドア攻撃は、驚くほど単純な防御戦略であるテキスト摂動によって効果的に軽減できることを示す。 実験により、テキストによる摂動は、最先端のバックドア攻撃に対する防御に有効であり、生成品質に対する犠牲は最小限であることが示された。
  論文  参考訳（メタデータ） (2024-08-28T11:36:43Z)
• Unveiling Structural Memorization: Structural Membership Inference Attack for Text-to-Image Diffusion Models [17.946671657675022]
  メンバー推論攻撃(MIA)は、プライバシ保護のためのツールとして機能するよう提案されている。 テキストから画像への拡散モデルに適した,シンプルで効果的なMIA手法を提案する。 我々の手法は、最先端の性能を達成するだけでなく、様々な歪みに対して顕著な堅牢性を示す。
  論文  参考訳（メタデータ） (2024-07-18T08:07:28Z)
• Invisible Backdoor Attacks on Diffusion Models [22.08671395877427]
  近年の研究では、バックドア攻撃に対する拡散モデルの脆弱性が明らかにされている。 本稿では,目に見えないトリガーの獲得と,挿入されたバックドアのステルスネスとレジリエンスの向上を目的とした,革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-02T17:43:19Z)
• Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models [39.607005089747936]
  テキスト・画像拡散モデルにおける記憶の実際的解析を行う。 暗記に必要な3つの条件,それぞれ類似性,存在,および確率を同定する。 次に,モデルの予測誤差と画像複製の相関関係を明らかにする。
  論文  参考訳（メタデータ） (2024-05-09T15:32:00Z)
• Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
  拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。 本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
  論文  参考訳（メタデータ） (2024-04-21T16:35:16Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Personalization as a Shortcut for Few-Shot Backdoor Attack against Text-to-Image Diffusion Models [23.695414399663235]
  本稿では,個人化によるバックドア攻撃に対するテキスト・ツー・イメージ(T2I)拡散モデルの潜在的な脆弱性について検討する。 本研究は,テキスト・インバージョンとDreamBoothによるパーソナライズ手法の2つのファミリーで普及しているゼロデイバックドア脆弱性に焦点を当てた。 Textual InversionとDreamBoothの即時処理を研究することで、未確認トークンの扱い方によって、バックドア攻撃を考案しました。
  論文  参考訳（メタデータ） (2023-05-18T04:28:47Z)
• Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy [62.16582309504159]
  本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。 提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
  論文  参考訳（メタデータ） (2023-02-15T17:37:49Z)
• How to Backdoor Diffusion Models? [74.43215520371506]
  本稿では,バックドア攻撃に対する拡散モデルの堅牢性に関する最初の研究について述べる。 我々は,バックドアインプラントのモデルトレーニング中に拡散過程を侵害する新たな攻撃フレームワークであるBadDiffusionを提案する。 本研究の結果は,拡散モデルの誤用や潜在的なリスクへの注意を呼び起こす。
  論文  参考訳（メタデータ） (2022-12-11T03:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。