論文の概要: Privacy Protection in Personalized Diffusion Models via Targeted Cross-Attention Adversarial Attack

• arxiv url: http://arxiv.org/abs/2411.16437v1
• Date: Mon, 25 Nov 2024 14:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:22:55.075150
• Title: Privacy Protection in Personalized Diffusion Models via Targeted Cross-Attention Adversarial Attack
• Title（参考訳）: ターゲット型クロスアテンション・アタックによる個人化拡散モデルのプライバシ保護
• Authors: Xide Xu, Muhammad Atif Butt, Sandesh Kamath, Bogdan Raducanu,
• Abstract要約: 本稿では,CoPSAM(Selective Attention Manipulation)による新規かつ効率的な対向攻撃法を提案する。 この目的のために、クリーンなサンプルに付加される知覚不可能なノイズを慎重に構築し、その逆のノイズを得る。 CelebA-HQ顔画像データセットのサブセットに対する実験的検証は、我々のアプローチが既存の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.357486699062561
• License:
• Abstract: The growing demand for customized visual content has led to the rise of personalized text-to-image (T2I) diffusion models. Despite their remarkable potential, they pose significant privacy risk when misused for malicious purposes. In this paper, we propose a novel and efficient adversarial attack method, Concept Protection by Selective Attention Manipulation (CoPSAM) which targets only the cross-attention layers of a T2I diffusion model. For this purpose, we carefully construct an imperceptible noise to be added to clean samples to get their adversarial counterparts. This is obtained during the fine-tuning process by maximizing the discrepancy between the corresponding cross-attention maps of the user-specific token and the class-specific token, respectively. Experimental validation on a subset of CelebA-HQ face images dataset demonstrates that our approach outperforms existing methods. Besides this, our method presents two important advantages derived from the qualitative evaluation: (i) we obtain better protection results for lower noise levels than our competitors; and (ii) we protect the content from unauthorized use thereby protecting the individual's identity from potential misuse.
• Abstract（参考訳）: カスタマイズされたビジュアルコンテンツに対する需要が増大し、パーソナライズされたテキスト・ツー・イメージ(T2I)拡散モデルが台頭した。 重大な可能性にもかかわらず、悪意のある目的のために誤用された場合、プライバシー上の大きなリスクが生じる。 本稿では,T2I拡散モデルのクロスアテンション層のみを対象とする,新規で効率的な対向攻撃手法CoPSAMを提案する。 この目的のために、クリーンなサンプルに付加される知覚不可能なノイズを慎重に構築し、その逆のノイズを得る。 これは、ユーザ固有のトークンの対応するクロスアテンションマップとクラス固有のトークンとの差を最大化することにより、微調整プロセス中に得られる。 CelebA-HQ顔画像データセットのサブセットに対する実験的検証は、我々のアプローチが既存の手法より優れていることを示す。 これに加えて, 定性評価から得られた2つの重要な利点を提示する。 一 競合相手より低い騒音に対する保護効果が低いこと。 二 コンテンツの不正使用から保護し、個人の身元を潜在的な誤用から保護する。

関連論文リスト

• DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
  拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。 しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。 本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。 これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
  論文  参考訳（メタデータ） (2024-07-29T16:11:21Z)
• Watch the Watcher! Backdoor Attacks on Security-Enhancing Diffusion Models [65.30406788716104]
  本研究では,セキュリティ強化拡散モデルの脆弱性について検討する。 これらのモデルは、シンプルで効果的なバックドア攻撃であるDIFF2に非常に感受性があることを実証する。 ケーススタディでは、DIFF2は、ベンチマークデータセットとモデル間で、パーフィケーション後の精度と認定精度の両方を著しく削減できることを示している。
  論文  参考訳（メタデータ） (2024-06-14T02:39:43Z)
• Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
  悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。 本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:45:31Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• SimAC: A Simple Anti-Customization Method for Protecting Face Privacy against Text-to-Image Synthesis of Diffusion Models [16.505593270720034]
  本稿では,既存のアンチ・カストマイゼーション手法とシームレスに統合された最適時間ステップを適応的に探索する手法を提案する。 我々のアプローチはアイデンティティの破壊を著しく増加させ、それによってユーザのプライバシと著作権を保護する。
  論文  参考訳（メタデータ） (2023-12-13T03:04:22Z)
• Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
  本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。 具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。 本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
  論文  参考訳（メタデータ） (2023-09-11T09:26:07Z)
• Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
  本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。 この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
  論文  参考訳（メタデータ） (2023-06-02T20:19:19Z)
• DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
  DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。 例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
  論文  参考訳（メタデータ） (2023-05-23T02:45:49Z)
• Attribute-Guided Encryption with Facial Texture Masking [64.77548539959501]
  本稿では,顔認識システムからユーザを保護するために,顔テクスチャマスキングを用いた属性ガイド暗号化を提案する。 提案手法は,最先端の手法よりも自然な画像を生成する。
  論文  参考訳（メタデータ） (2023-05-22T23:50:43Z)
• Attribute-preserving Face Dataset Anonymization via Latent Code Optimization [64.4569739006591]
  本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。 我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
  論文  参考訳（メタデータ） (2023-03-20T17:34:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。