論文の概要: Make the Most of Everything: Further Considerations on Disrupting Diffusion-based Customization

• arxiv url: http://arxiv.org/abs/2503.13945v1
• Date: Tue, 18 Mar 2025 06:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:16:05.470097
• Title: Make the Most of Everything: Further Considerations on Disrupting Diffusion-based Customization
• Title（参考訳）: すべてを最大限に活用する - 拡散に基づくカスタマイズのさらなる考察-
• Authors: Long Tang, Dengpan Ye, Sirun Chen, Xiuwen Shi, Yunna Lv, Ziyi Liu,
• Abstract要約: 拡散カスタマイズを目的とした2段階の対向攻撃であるDual Anti-Diffusion (DADiff)を提案する。 様々な主流の顔データセットに対する実験結果は、クロスプロンプト、キーワードミスマッチ、クロスモデル、クロスメカニズムのアンチカストマイゼーションにおいて10%-30%の改善が示されている。
• 参考スコア（独自算出の注目度）: 11.704329867109237
• License:
• Abstract: The fine-tuning technique for text-to-image diffusion models facilitates image customization but risks privacy breaches and opinion manipulation. Current research focuses on prompt- or image-level adversarial attacks for anti-customization, yet it overlooks the correlation between these two levels and the relationship between internal modules and inputs. This hinders anti-customization performance in practical threat scenarios. We propose Dual Anti-Diffusion (DADiff), a two-stage adversarial attack targeting diffusion customization, which, for the first time, integrates the adversarial prompt-level attack into the generation process of image-level adversarial examples. In stage 1, we generate prompt-level adversarial vectors to guide the subsequent image-level attack. In stage 2, besides conducting the end-to-end attack on the UNet model, we disrupt its self- and cross-attention modules, aiming to break the correlations between image pixels and align the cross-attention results computed using instance prompts and adversarial prompt vectors within the images. Furthermore, we introduce a local random timestep gradient ensemble strategy, which updates adversarial perturbations by integrating random gradients from multiple segmented timesets. Experimental results on various mainstream facial datasets demonstrate 10%-30% improvements in cross-prompt, keyword mismatch, cross-model, and cross-mechanism anti-customization with DADiff compared to existing methods.
• Abstract（参考訳）: テキストから画像への拡散モデルの微調整技術は、画像のカスタマイズを容易にするが、プライバシー侵害や意見操作のリスクを負う。 現在の研究は、アンチ・カストミゼーションに対するプロンプトレベルまたはイメージレベルの敵攻撃に焦点を当てているが、これら2つのレベルと内部モジュールと入力の関係は見落としている。 これにより、現実的な脅威シナリオにおけるアンチ・カストマイズ性能が阻害される。 本稿では,拡散カスタマイズを目的とした2段階の対向攻撃であるDual Anti-Diffusion (DADiff)を提案する。 ステージ1では、その後の画像レベルの攻撃を導くために、プロンプトレベルの逆ベクトルを生成する。 ステージ2では、UNetモデルに対するエンドツーエンド攻撃の他に、画像画素間の相関関係を破り、画像内のインスタンスプロンプトと対向プロンプトベクトルを用いて計算されたクロスアテンション結果を調整することを目的として、自己およびクロスアテンションモジュールを破壊する。 さらに,複数セグメントのタイムセットからランダムな勾配を統合することで,逆方向の摂動を更新するランダムな時間ステップ勾配アンサンブル戦略を導入する。 様々な主流の顔データセットに対する実験結果は、既存の方法と比較して、クロスプロンプト、キーワードミスマッチ、クロスモデル、およびクロスメカニズムのアンチカストマイゼーションが10%-30%改善したことを示している。

関連論文リスト

• PB-UAP: Hybrid Universal Adversarial Attack For Image Segmentation [15.702469692874816]
  セグメンテーションモデル用に設計された新しいユニバーサル逆攻撃法を提案する。 提案手法は,最先端の手法よりも高い攻撃成功率を達成し,異なるモデル間で強い伝達性を示す。
  論文  参考訳（メタデータ） (2024-12-21T14:46:01Z)
• Boosting Imperceptibility of Stable Diffusion-based Adversarial Examples Generation with Momentum [13.305800254250789]
  我々は,SD-MIAE(SD-MIAE)という新しいフレームワークを提案する。 視覚的不受容性を保ち、元のクラスラベルとのセマンティックな類似性を保ちながら、ニューラルネットワーク分類器を効果的に誤解させることができる敵の例を生成する。 実験の結果,SD-MIAEは79%の誤分類率を示し,最先端法よりも35%向上した。
  論文  参考訳（メタデータ） (2024-10-17T01:22:11Z)
• AdvQDet: Detecting Query-Based Adversarial Attacks with Adversarial Contrastive Prompt Tuning [93.77763753231338]
  CLIP画像エンコーダを微調整し、2つの中間対向クエリに対して同様の埋め込みを抽出するために、ACPT(Adversarial Contrastive Prompt Tuning)を提案する。 我々は,ACPTが7つの最先端クエリベースの攻撃を検出できることを示す。 また,ACPTは3種類のアダプティブアタックに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-08-04T09:53:50Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Self-Supervised Representation Learning for Adversarial Attack Detection [6.528181610035978]
  教師付き学習に基づく敵攻撃検出手法は,多数のラベル付きデータに依存している。 この欠点に対処するために、敵攻撃検出タスクのための自己教師付き表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:37:16Z)
• Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
  悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。 本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:45:31Z)
• Multi-granular Adversarial Attacks against Black-box Neural Ranking Models [111.58315434849047]
  多粒性摂動を取り入れた高品質な逆数例を作成する。 我々は,多粒体攻撃を逐次的意思決定プロセスに変換する。 本手法は,攻撃の有効性と非受容性の両方において,一般的なベースラインを超えている。
  論文  参考訳（メタデータ） (2024-04-02T02:08:29Z)
• IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks [16.577595936609665]
  本稿では,画像再サンプリングという,敵対的攻撃に対する新たなアプローチを提案する。 画像再サンプリングは、幾何学的変換によって指定されたシーンの再調整や再レンダリングの過程をシミュレートして、離散画像を新しい画像に変換する。 本手法は,クリーンな画像の精度を維持しつつ,多様な深層モデルの様々な攻撃に対する対角的堅牢性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T11:19:32Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Improving Adversarial Transferability via Intermediate-level Perturbation Decay [79.07074710460012]
  我々は,一段階の最適化で敵の例を再現する新しい中間レベル手法を開発した。 実験結果から, 種々の犠牲者モデルに対する攻撃において, 最先端技術よりも大きな差が認められた。
  論文  参考訳（メタデータ） (2023-04-26T09:49:55Z)
• Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations [83.60161052867534]
  クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。 以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。 我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
  論文  参考訳（メタデータ） (2020-07-13T05:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。