論文の概要: Perturbing Attention Gives You More Bang for the Buck: Subtle Imaging Perturbations That Efficiently Fool Customized Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.15081v2
• Date: Fri, 14 Jun 2024 14:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 18:42:49.655425
• Title: Perturbing Attention Gives You More Bang for the Buck: Subtle Imaging Perturbations That Efficiently Fool Customized Diffusion Models
• Title（参考訳）: 遠心分離型遠心分離モデル「Subtle Imaging Perturbations」
• Authors: Jingyao Xu, Yuetong Lu, Yandong Li, Siyang Lu, Dongdong Wang, Xiang Wei,
• Abstract要約: 疑似潜伏拡散モデル(LDM)に対する汎用的で効率的なアプローチであるCAATを提案する。 画像上の微妙な勾配が相互注意層に大きく影響し,テキストと画像のマッピングが変化することを示す。 実験により、CAATは多様な拡散モデルと互換性があり、ベースライン攻撃法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 11.91784429717735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models (DMs) embark a new era of generative modeling and offer more opportunities for efficient generating high-quality and realistic data samples. However, their widespread use has also brought forth new challenges in model security, which motivates the creation of more effective adversarial attackers on DMs to understand its vulnerability. We propose CAAT, a simple but generic and efficient approach that does not require costly training to effectively fool latent diffusion models (LDMs). The approach is based on the observation that cross-attention layers exhibits higher sensitivity to gradient change, allowing for leveraging subtle perturbations on published images to significantly corrupt the generated images. We show that a subtle perturbation on an image can significantly impact the cross-attention layers, thus changing the mapping between text and image during the fine-tuning of customized diffusion models. Extensive experiments demonstrate that CAAT is compatible with diverse diffusion models and outperforms baseline attack methods in a more effective (more noise) and efficient (twice as fast as Anti-DreamBooth and Mist) manner.
• Abstract（参考訳）: 拡散モデル(DM)は、生成モデリングの新しい時代に乗り出し、高品質で現実的なデータサンプルを効率的に生成する機会を提供する。 しかし、彼らの普及した利用はまた、モデルセキュリティにおける新たな課題をもたらし、その脆弱性を理解するためにDM上でより効果的な敵攻撃者を作成する動機となった。 本稿では,遅延拡散モデル(LDM)を効果的に騙すために,コストのかかるトレーニングを必要としない,シンプルで汎用的で効率的なアプローチであるCAATを提案する。 このアプローチは、交差したアテンション層が勾配変化に対する高い感度を示し、公開画像の微妙な摂動を利用して生成された画像を著しく劣化させる、という観察に基づいている。 画像上の微妙な摂動が、関心層に大きく影響することを示し、カスタマイズされた拡散モデルの微調整中にテキストと画像のマッピングを変更する。 広範囲にわたる実験により、CAATは多様な拡散モデルと互換性があり、より効果的な(よりノイズの多い)ベースライン攻撃法と効率の良い(反DreamBoothとMistの2倍の速さ)方法に優れることが示された。

関連論文リスト

• Pixel Is Not A Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models [9.905296922309157]
  拡散モデルは高品質な画像合成のための強力な生成モデルとして登場し、それに基づく画像編集技術も数多くある。 従来の研究は、知覚不能な摂動を加えることで、画像の拡散に基づく編集を防ごうとしてきた。 本研究は,UNETの脆弱性を悪用した特徴表現攻撃損失と,保護された画像の自然性を高めるための潜在最適化戦略を備えた,新たな攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-21T17:56:34Z)
• Invisible Backdoor Attacks on Diffusion Models [22.08671395877427]
  近年の研究では、バックドア攻撃に対する拡散モデルの脆弱性が明らかにされている。 本稿では,目に見えないトリガーの獲得と,挿入されたバックドアのステルスネスとレジリエンスの向上を目的とした,革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-02T17:43:19Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Adversarial Examples are Misaligned in Diffusion Model Manifolds [7.979892202477701]
  本研究は,拡散モデルのレンズによる敵攻撃の研究に焦点をあてる。 我々の焦点は、拡散モデルを利用して、画像に対するこれらの攻撃によって引き起こされる異常を検出し、分析することにある。 その結果、良性画像と攻撃画像とを効果的に識別できる顕著な能力が示された。
  論文  参考訳（メタデータ） (2024-01-12T15:29:21Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Training Diffusion Models with Reinforcement Learning [82.29328477109826]
  拡散モデルは、ログのような目的に近似して訓練される。 本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。 本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy [62.16582309504159]
  本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。 提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
  論文  参考訳（メタデータ） (2023-02-15T17:37:49Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。