論文の概要: Prompt-Agnostic Adversarial Perturbation for Customized Diffusion Models
- arxiv url: http://arxiv.org/abs/2408.10571v2
- Date: Fri, 30 Aug 2024 03:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 17:38:32.977885
- Title: Prompt-Agnostic Adversarial Perturbation for Customized Diffusion Models
- Title(参考訳): カスタマイズ拡散モデルのためのプロンプト非依存的対向摂動
- Authors: Cong Wan, Yuhang He, Xiang Song, Yihong Gong,
- Abstract要約: 本稿では,カスタマイズした拡散モデルのためのPAP(Prompt-Agnostic Adversarial Perturbation)手法を提案する。
PAPはまず、ラプラス近似を用いてプロンプト分布をモデル化し、その後、外乱期待を最大化することで、急激な摂動を発生させる。
このアプローチは、即時無敵攻撃に効果的に取り組み、防御安定性を向上させる。
- 参考スコア(独自算出の注目度): 27.83772742404565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have revolutionized customized text-to-image generation, allowing for efficient synthesis of photos from personal data with textual descriptions. However, these advancements bring forth risks including privacy breaches and unauthorized replication of artworks. Previous researches primarily center around using prompt-specific methods to generate adversarial examples to protect personal images, yet the effectiveness of existing methods is hindered by constrained adaptability to different prompts. In this paper, we introduce a Prompt-Agnostic Adversarial Perturbation (PAP) method for customized diffusion models. PAP first models the prompt distribution using a Laplace Approximation, and then produces prompt-agnostic perturbations by maximizing a disturbance expectation based on the modeled distribution. This approach effectively tackles the prompt-agnostic attacks, leading to improved defense stability. Extensive experiments in face privacy and artistic style protection, demonstrate the superior generalization of our method in comparison to existing techniques.
- Abstract(参考訳): 拡散モデルは、カスタマイズされたテキスト・ツー・イメージ生成に革命をもたらし、テキスト記述による個人データからの写真の効率的な合成を可能にした。
しかし、これらの進歩は、プライバシー侵害や芸術作品の無許可複製などのリスクを引き起こす。
従来の研究は主に、個人画像を保護するための敵対的な例を生成するために、プロンプト固有の手法を主に用いていたが、既存の手法の有効性は、異なるプロンプトに対する制約付き適応性によって妨げられている。
本稿では,カスタマイズした拡散モデルのためのPR法を提案する。
PAPはまず、ラプラス近似を用いてプロンプト分布をモデル化し、その後、モデル化された分布に基づいて外乱期待を最大化することにより、急激な摂動を発生させる。
このアプローチは、即時無敵攻撃に効果的に取り組み、防御安定性を向上させる。
顔のプライバシと芸術的スタイルの保護に関する大規模な実験は、既存の手法と比較して、我々の手法のより優れた一般化を実証している。
関連論文リスト
- Investigating and Defending Shortcut Learning in Personalized Diffusion Models [16.569765598914152]
ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。
この微調整時のミスアライメントは、モデルがノイズパターンと識別子を関連付ける原因となり、性能が低下する。
提案手法は,まず画像に固有の意味的意味を潜時空間で認識する。
論文 参考訳(メタデータ) (2024-06-27T07:14:14Z) - Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。
本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
論文 参考訳(メタデータ) (2024-05-31T02:45:31Z) - Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy [36.156856772794065]
本稿では,テキスト・画像拡散モデルにおける条件オーバーフィッティング現象を示し,これらのモデルが与えられた画像の条件分布に過度に適合する傾向があることを示す。
我々は,条件的類似性(CLiD)の分析指標を導出し,会員推定を行う。
実験結果から,本手法は様々なデータ分布やスケールにおいて,従来手法よりも有意に優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-05-23T17:09:51Z) - Privacy-Preserving Diffusion Model Using Homomorphic Encryption [5.282062491549009]
HE拡散(HE-Diffusion)と呼ばれる同相暗号を利用したプライバシー保護型安定拡散フレームワークを提案する。
本稿では,効率的な部分的画像暗号化を実現するための新しいミン歪み法を提案する。
HEベースのプライバシ保存型安定拡散推論の実装に成功した。
論文 参考訳(メタデータ) (2024-03-09T04:56:57Z) - Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線
本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。
提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
論文 参考訳(メタデータ) (2024-02-15T18:59:18Z) - Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent
Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。
具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。
設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文 参考訳(メタデータ) (2023-12-18T15:25:23Z) - IMPRESS: Evaluating the Resilience of Imperceptible Perturbations
Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。
知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。
本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
論文 参考訳(メタデータ) (2023-10-30T03:33:41Z) - Exposing the Fake: Effective Diffusion-Generated Images Detection [14.646957596560076]
本稿では拡散生成画像検出(SeDID)のためのステップワイド誤差と呼ばれる新しい検出法を提案する。
SeDIDは拡散モデルのユニークな特性、すなわち決定論的逆転と決定論的逆退誤差を利用する。
我々の研究は拡散モデル生成画像の識別に重要な貢献をしており、人工知能のセキュリティ分野における重要なステップとなっている。
論文 参考訳(メタデータ) (2023-07-12T16:16:37Z) - Data Forensics in Diffusion Models: A Systematic Analysis of Membership
Privacy [62.16582309504159]
本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。
提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
論文 参考訳(メタデータ) (2023-02-15T17:37:49Z) - Raising the Cost of Malicious AI-Powered Image Editing [82.71990330465115]
本研究では,大規模な拡散モデルによる悪意ある画像編集のリスクを軽減するためのアプローチを提案する。
鍵となるアイデアは、イメージを免疫して、これらのモデルによる操作に抵抗するようにすることだ。
論文 参考訳(メタデータ) (2023-02-13T18:38:42Z) - Federated Test-Time Adaptive Face Presentation Attack Detection with
Dual-Phase Privacy Preservation [100.69458267888962]
顔提示攻撃検出(fPAD)は、現代の顔認識パイプラインにおいて重要な役割を果たす。
法的およびプライバシー上の問題により、トレーニングデータ(実際の顔画像と偽画像)は、異なるデータソース間で直接共有することはできない。
本稿では,二相プライバシー保護フレームワークを用いたフェデレーションテスト時間適応顔提示検出を提案する。
論文 参考訳(メタデータ) (2021-10-25T02:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。