論文の概要: Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization
- arxiv url: http://arxiv.org/abs/2405.20584v1
- Date: Fri, 31 May 2024 02:45:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 15:46:08.106918
- Title: Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization
- Title(参考訳): ディフュージョンの破壊: ディフュージョンに基づくカスタマイズに対するトークンレベルアテンション消去攻撃
- Authors: Yisu Liu, Jinyang An, Wanqian Zhang, Dayan Wu, Jingzi Gu, Zheng Lin, Weiping Wang,
- Abstract要約: 悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。
本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
- 参考スコア(独自算出の注目度): 19.635385099376066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of diffusion-based customization methods like DreamBooth, individuals now have access to train the models that can generate their personalized images. Despite the convenience, malicious users have misused these techniques to create fake images, thereby triggering a privacy security crisis. In light of this, proactive adversarial attacks are proposed to protect users against customization. The adversarial examples are trained to distort the customization model's outputs and thus block the misuse. In this paper, we propose DisDiff (Disrupting Diffusion), a novel adversarial attack method to disrupt the diffusion model outputs. We first delve into the intrinsic image-text relationships, well-known as cross-attention, and empirically find that the subject-identifier token plays an important role in guiding image generation. Thus, we propose the Cross-Attention Erasure module to explicitly "erase" the indicated attention maps and disrupt the text guidance. Besides,we analyze the influence of the sampling process of the diffusion model on Projected Gradient Descent (PGD) attack and introduce a novel Merit Sampling Scheduler to adaptively modulate the perturbation updating amplitude in a step-aware manner. Our DisDiff outperforms the state-of-the-art methods by 12.75% of FDFR scores and 7.25% of ISM scores across two facial benchmarks and two commonly used prompts on average.
- Abstract(参考訳): DreamBoothのような拡散ベースのカスタマイズ方法の開発により、個人はパーソナライズされたイメージを生成するモデルをトレーニングできるようになりました。
この便利さにもかかわらず、悪意のあるユーザーは偽画像を作成するためにこれらのテクニックを誤用し、それによってプライバシーのセキュリティ危機が引き起こされた。
これを踏まえて、ユーザをカスタマイズから守るために、積極的な敵攻撃が提案されている。
逆の例は、カスタマイズモデルの出力を歪め、したがって誤用をブロックするように訓練される。
本稿では,拡散モデル出力を阻害する新たな逆攻撃法であるDisDiff(Disrupting Diffusion)を提案する。
まず、クロスアテンションとしてよく知られている本質的な画像とテキストの関係を掘り下げ、画像生成を導く上で、主観的識別トークンが重要な役割を果たすことを実証的に見出した。
そこで本研究では,対象の注意マップを明示的に「消去」し,テキストガイダンスを乱すクロスアテンション消去モジュールを提案する。
さらに,拡散モデルのサンプリングプロセスがPGD攻撃に与える影響を解析し,ステップアウェア方式で摂動更新振幅を適応的に調整する新しいメリットサンプリングスケジューリングを導入する。
我々のDisDiffは、2つの顔ベンチマークと2つの一般的なプロンプトで、FDFRスコアの12.75%、ISMスコアの7.25%で最先端の手法よりも優れています。
関連論文リスト
- Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデルアタック(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳(メタデータ) (2024-07-16T06:38:49Z) - Investigating and Defending Shortcut Learning in Personalized Diffusion Models [16.569765598914152]
ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。
この微調整時のミスアライメントは、モデルがノイズパターンと識別子を関連付ける原因となり、性能が低下する。
提案手法は,まず画像に固有の意味的意味を潜時空間で認識する。
論文 参考訳(メタデータ) (2024-06-27T07:14:14Z) - Adversarial Attacks on Both Face Recognition and Face Anti-spoofing Models [47.72177312801278]
顔認識(FR)システムに対するアドリアック攻撃は、純粋なFRモデルの妥協に非常に効果的であることが証明されている。
本稿では, FR モデルと Face Anti-Spoofing (FAS) モデルの両方を同時に攻撃する新しい設定を提案する。
我々は、FRモデルとFASモデルの両方に対するブラックボックス攻撃のキャパシティを改善するために、スタイル整列分散バイアス(SDB)と呼ばれる新しいアタック手法を導入する。
論文 参考訳(メタデータ) (2024-05-27T08:30:29Z) - Revealing Vulnerabilities in Stable Diffusion via Targeted Attacks [41.531913152661296]
本稿では,安定拡散に対する標的対向攻撃の問題を定式化し,対向的プロンプトを生成するための枠組みを提案する。
具体的には、安定した拡散を誘導し、特定の画像を生成するための信頼性の高い逆プロンプトを構築するために、勾配に基づく埋め込み最適化を設計する。
逆方向のプロンプトを成功させた後、モデルの脆弱性を引き起こすメカニズムを明らかにする。
論文 参考訳(メタデータ) (2024-01-16T12:15:39Z) - Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent
Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。
具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。
設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文 参考訳(メタデータ) (2023-12-18T15:25:23Z) - Counterfactual Image Generation for adversarially robust and
interpretable Classifiers [1.3859669037499769]
本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。
これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。
モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
論文 参考訳(メタデータ) (2023-10-01T18:50:29Z) - DiffProtect: Generate Adversarial Examples with Diffusion Models for
Facial Privacy Protection [64.77548539959501]
DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。
例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
論文 参考訳(メタデータ) (2023-05-23T02:45:49Z) - Guided Diffusion Model for Adversarial Purification [103.4596751105955]
敵攻撃は、様々なアルゴリズムやフレームワークでディープニューラルネットワーク(DNN)を妨害する。
本稿では,GDMP ( Guided diffusion model for purification) と呼ばれる新しい精製法を提案する。
様々なデータセットにわたる包括的実験において,提案したGDMPは,敵対的攻撃によって引き起こされた摂動を浅い範囲に減少させることを示した。
論文 参考訳(メタデータ) (2022-05-30T10:11:15Z) - Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。
そこで我々は,拡散モデルを用いたDiffPureを提案する。
提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文 参考訳(メタデータ) (2022-05-16T06:03:00Z) - Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth
Uncertainty Learning [54.15303628138665]
フェース・アンチ・スプーフィング(FAS)は、顔認識システムが提示攻撃を防ぐ上で重要な役割を担っている。
既存のフェース・アンチ・スプーフィング・データセットは、アイデンティティと重要なばらつきが不十分なため、多様性を欠いている。
我々は「生成によるアンチ・スプーフィング」によりこの問題に対処するデュアル・スポット・ディアンタングメント・ジェネレーション・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-01T15:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。