論文の概要: PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting

• arxiv url: http://arxiv.org/abs/2508.16217v1
• Date: Fri, 22 Aug 2025 08:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.324633
• Title: PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting
• Title（参考訳）: PromptFlare:拡散型塗布におけるクロスアテンション・デコイによるプロンプト・ジェネレーション・ディフェンス
• Authors: Hohyun Na, Seunghoo Hong, Simon S. Woo,
• Abstract要約: PromptFlareは,拡散型塗布モデルによる悪質な修正から画像を保護するために設計された,新たな敵対的保護手法である。 提案手法は, 急速埋め込みの固有特性を利用して, 対向ノイズを注入し, サンプリング過程を抑える。 EditBenchデータセットを用いた実験により,本手法が各種メトリクスの最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 25.24109316946351
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The success of diffusion models has enabled effortless, high-quality image modifications that precisely align with users' intentions, thereby raising concerns about their potential misuse by malicious actors. Previous studies have attempted to mitigate such misuse through adversarial attacks. However, these approaches heavily rely on image-level inconsistencies, which pose fundamental limitations in addressing the influence of textual prompts. In this paper, we propose PromptFlare, a novel adversarial protection method designed to protect images from malicious modifications facilitated by diffusion-based inpainting models. Our approach leverages the cross-attention mechanism to exploit the intrinsic properties of prompt embeddings. Specifically, we identify and target shared token of prompts that is invariant and semantically uninformative, injecting adversarial noise to suppress the sampling process. The injected noise acts as a cross-attention decoy, diverting the model's focus away from meaningful prompt-image alignments and thereby neutralizing the effect of prompt. Extensive experiments on the EditBench dataset demonstrate that our method achieves state-of-the-art performance across various metrics while significantly reducing computational overhead and GPU memory usage. These findings highlight PromptFlare as a robust and efficient protection against unauthorized image manipulations. The code is available at https://github.com/NAHOHYUN-SKKU/PromptFlare.
• Abstract（参考訳）: 拡散モデルの成功により、ユーザの意図と正確に一致した、無力で高品質な画像修正が可能となり、悪意あるアクターによる潜在的な誤用への懸念が高まった。 従来の研究は敵の攻撃による誤用を軽減しようと試みてきた。 しかし、これらのアプローチは画像レベルの不整合に大きく依存しており、テキストプロンプトの影響に対処する上で基本的な制限が生じる。 本稿では,拡散型塗布モデルによる悪質な修正から画像を保護するために設計された,新しい対向保護手法であるPromptFlareを提案する。 提案手法は, クロスアテンション機構を利用して, 急速埋め込みの本質的特性を利用する。 具体的には,無変量かつ意味的に非定型なプロンプトの共有トークンを同定し,抽出過程を抑えるために逆ノイズを注入する。 注入されたノイズは、クロスアテンションデコイとして機能し、モデルの焦点を意味のあるプロンプトイメージアライメントから遠ざけることにより、プロンプトの効果を中和する。 EditBenchデータセットの大規模な実験により,計算オーバーヘッドとGPUメモリ使用量を大幅に削減しつつ,各種メトリクスの最先端性能を実現することができた。 これらの結果は、PromptFlareが、許可されていない画像操作に対する堅牢で効率的な保護であることを強調している。 コードはhttps://github.com/NAHOHYUN-SKKU/PromptFlareで公開されている。

関連論文リスト

• Active Adversarial Noise Suppression for Image Forgery Localization [56.98050814363447]
  本稿では、敵騒音の攻撃効果を抑制するために、防御的摂動を発生させる敵騒音抑制モジュール(ANSM)を提案する。 我々の知る限りでは、画像フォージェリローカライゼーションタスクにおける敵対的防御の報告としてはこれが初めてである。
  論文  参考訳（メタデータ） (2025-06-15T14:53:27Z)
• DiffusionGuard: A Robust Defense Against Malicious Diffusion-based Image Editing [93.45507533317405]
  DiffusionGuardは、拡散ベースの画像編集モデルによる不正な編集に対する堅牢で効果的な防御方法である。 拡散過程の初期段階をターゲットとした対向雑音を発生させる新しい目的を提案する。 また,テスト期間中の各種マスクに対するロバスト性を高めるマスク強化手法も導入した。
  論文  参考訳（メタデータ） (2024-10-08T05:19:19Z)
• Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
  悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。 本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:45:31Z)
• Revealing Vulnerabilities in Stable Diffusion via Targeted Attacks [41.531913152661296]
  本稿では,安定拡散に対する標的対向攻撃の問題を定式化し,対向的プロンプトを生成するための枠組みを提案する。 具体的には、安定した拡散を誘導し、特定の画像を生成するための信頼性の高い逆プロンプトを構築するために、勾配に基づく埋め込み最適化を設計する。 逆方向のプロンプトを成功させた後、モデルの脆弱性を引き起こすメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2024-01-16T12:15:39Z)
• IMPRESS: Evaluating the Resilience of Imperceptible Perturbations Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
  拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。 知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。 本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
  論文  参考訳（メタデータ） (2023-10-30T03:33:41Z)
• IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks [16.577595936609665]
  本稿では,画像再サンプリングという,敵対的攻撃に対する新たなアプローチを提案する。 画像再サンプリングは、幾何学的変換によって指定されたシーンの再調整や再レンダリングの過程をシミュレートして、離散画像を新しい画像に変換する。 本手法は,クリーンな画像の精度を維持しつつ,多様な深層モデルの様々な攻撃に対する対角的堅牢性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T11:19:32Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。