Fugu-MT 論文翻訳(概要): Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization

論文の概要: Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization

arxiv url: http://arxiv.org/abs/2405.20584v1
Date: Fri, 31 May 2024 02:45:31 GMT
ステータス: 処理完了
システム内更新日: 2024-06-03 15:46:08.106918
Title: Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization
Title（参考訳）: ディフュージョンの破壊: ディフュージョンに基づくカスタマイズに対するトークンレベルアテンション消去攻撃
Authors: Yisu Liu, Jinyang An, Wanqian Zhang, Dayan Wu, Jingzi Gu, Zheng Lin, Weiping Wang,
Abstract要約: 悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
参考スコア（独自算出の注目度）: 19.635385099376066
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the development of diffusion-based customization methods like DreamBooth, individuals now have access to train the models that can generate their personalized images. Despite the convenience, malicious users have misused these techniques to create fake images, thereby triggering a privacy security crisis. In light of this, proactive adversarial attacks are proposed to protect users against customization. The adversarial examples are trained to distort the customization model's outputs and thus block the misuse. In this paper, we propose DisDiff (Disrupting Diffusion), a novel adversarial attack method to disrupt the diffusion model outputs. We first delve into the intrinsic image-text relationships, well-known as cross-attention, and empirically find that the subject-identifier token plays an important role in guiding image generation. Thus, we propose the Cross-Attention Erasure module to explicitly "erase" the indicated attention maps and disrupt the text guidance. Besides,we analyze the influence of the sampling process of the diffusion model on Projected Gradient Descent (PGD) attack and introduce a novel Merit Sampling Scheduler to adaptively modulate the perturbation updating amplitude in a step-aware manner. Our DisDiff outperforms the state-of-the-art methods by 12.75% of FDFR scores and 7.25% of ISM scores across two facial benchmarks and two commonly used prompts on average.
Abstract（参考訳）: DreamBoothのような拡散ベースのカスタマイズ方法の開発により、個人はパーソナライズされたイメージを生成するモデルをトレーニングできるようになりました。この便利さにもかかわらず、悪意のあるユーザーは偽画像を作成するためにこれらのテクニックを誤用し、それによってプライバシーのセキュリティ危機が引き起こされた。これを踏まえて、ユーザをカスタマイズから守るために、積極的な敵攻撃が提案されている。逆の例は、カスタマイズモデルの出力を歪め、したがって誤用をブロックするように訓練される。本稿では,拡散モデル出力を阻害する新たな逆攻撃法であるDisDiff(Disrupting Diffusion)を提案する。まず、クロスアテンションとしてよく知られている本質的な画像とテキストの関係を掘り下げ、画像生成を導く上で、主観的識別トークンが重要な役割を果たすことを実証的に見出した。そこで本研究では,対象の注意マップを明示的に「消去」し,テキストガイダンスを乱すクロスアテンション消去モジュールを提案する。さらに,拡散モデルのサンプリングプロセスがPGD攻撃に与える影響を解析し,ステップアウェア方式で摂動更新振幅を適応的に調整する新しいメリットサンプリングスケジューリングを導入する。我々のDisDiffは、2つの顔ベンチマークと2つの一般的なプロンプトで、FDFRスコアの12.75%、ISMスコアの7.25%で最先端の手法よりも優れています。

関連論文リスト

Privacy Protection in Personalized Diffusion Models via Targeted Cross-Attention Adversarial Attack [5.357486699062561]
本稿では,CoPSAM(Selective Attention Manipulation)による新規かつ効率的な対向攻撃法を提案する。この目的のために、クリーンなサンプルに付加される知覚不可能なノイズを慎重に構築し、その逆のノイズを得る。 CelebA-HQ顔画像データセットのサブセットに対する実験的検証は、我々のアプローチが既存の手法より優れていることを示す。
論文参考訳（メタデータ） (2024-11-25T14:39:18Z)
Prompt-Agnostic Adversarial Perturbation for Customized Diffusion Models [27.83772742404565]
本稿では,カスタマイズした拡散モデルのためのPAP(Prompt-Agnostic Adversarial Perturbation)手法を提案する。 PAPはまず、ラプラス近似を用いてプロンプト分布をモデル化し、その後、外乱期待を最大化することで、急激な摂動を発生させる。このアプローチは、即時無敵攻撃に効果的に取り組み、防御安定性を向上させる。
論文参考訳（メタデータ） (2024-08-20T06:17:56Z)
DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
論文参考訳（メタデータ） (2024-07-29T16:11:21Z)
Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文参考訳（メタデータ） (2024-07-16T06:38:49Z)
Revealing Vulnerabilities in Stable Diffusion via Targeted Attacks [41.531913152661296]
本稿では,安定拡散に対する標的対向攻撃の問題を定式化し,対向的プロンプトを生成するための枠組みを提案する。具体的には、安定した拡散を誘導し、特定の画像を生成するための信頼性の高い逆プロンプトを構築するために、勾配に基づく埋め込み最適化を設計する。逆方向のプロンプトを成功させた後、モデルの脆弱性を引き起こすメカニズムを明らかにする。
論文参考訳（メタデータ） (2024-01-16T12:15:39Z)
Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文参考訳（メタデータ） (2023-12-18T15:25:23Z)
DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
論文参考訳（メタデータ） (2023-05-23T02:45:49Z)
Guided Diffusion Model for Adversarial Purification [103.4596751105955]
敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
論文参考訳（メタデータ） (2022-05-30T10:11:15Z)
Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。そこで我々は,拡散モデルを用いたDiffPureを提案する。提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文参考訳（メタデータ） (2022-05-16T06:03:00Z)
Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning [54.15303628138665]
フェース・アンチ・スプーフィング(FAS)は、顔認識システムが提示攻撃を防ぐ上で重要な役割を担っている。既存のフェース・アンチ・スプーフィング・データセットは、アイデンティティと重要なばらつきが不十分なため、多様性を欠いている。我々は「生成によるアンチ・スプーフィング」によりこの問題に対処するデュアル・スポット・ディアンタングメント・ジェネレーション・フレームワークを提案する。
論文参考訳（メタデータ） (2021-12-01T15:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。