論文の概要: FoolSDEdit: Deceptively Steering Your Edits Towards Targeted Attribute-aware Distribution

• arxiv url: http://arxiv.org/abs/2402.03705v1
• Date: Tue, 6 Feb 2024 04:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 16:31:04.565361
• Title: FoolSDEdit: Deceptively Steering Your Edits Towards Targeted Attribute-aware Distribution
• Title（参考訳）: FoolSDEdit: ターゲットの属性を意識して編集をステアリングする
• Authors: Qi Zhou, Dongxia Wang, Tianlin Li, Zhihong Xu, Yang Liu, Kui Ren, Wenhai Wang, Qing Guo
• Abstract要約: 我々は、SDEditに特定の属性に一致した特定のデータ分布を生成するよう強制する敵攻撃を構築する。 本稿では,属性認識目的関数を用いたTAGA(Targeted Attribute Generative Attack)を提案し,入力ストローク絵に付加される対向雑音を最適化する。 実験により,本手法はSDEditに,属性認識データ分布をターゲットとして生成し,ベースラインを著しく上回ることを示す。
• 参考スコア（独自算出の注目度）: 34.3949228829163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Guided image synthesis methods, like SDEdit based on the diffusion model, excel at creating realistic images from user inputs such as stroke paintings. However, existing efforts mainly focus on image quality, often overlooking a key point: the diffusion model represents a data distribution, not individual images. This introduces a low but critical chance of generating images that contradict user intentions, raising ethical concerns. For example, a user inputting a stroke painting with female characteristics might, with some probability, get male faces from SDEdit. To expose this potential vulnerability, we aim to build an adversarial attack forcing SDEdit to generate a specific data distribution aligned with a specified attribute (e.g., female), without changing the input's attribute characteristics. We propose the Targeted Attribute Generative Attack (TAGA), using an attribute-aware objective function and optimizing the adversarial noise added to the input stroke painting. Empirical studies reveal that traditional adversarial noise struggles with TAGA, while natural perturbations like exposure and motion blur easily alter generated images' attributes. To execute effective attacks, we introduce FoolSDEdit: We design a joint adversarial exposure and blur attack, adding exposure and motion blur to the stroke painting and optimizing them together. We optimize the execution strategy of various perturbations, framing it as a network architecture search problem. We create the SuperPert, a graph representing diverse execution strategies for different perturbations. After training, we obtain the optimized execution strategy for effective TAGA against SDEdit. Comprehensive experiments on two datasets show our method compelling SDEdit to generate a targeted attribute-aware data distribution, significantly outperforming baselines.
• Abstract（参考訳）: sdeditのような拡散モデルに基づく誘導画像合成手法は、ストローク画などの入力からリアルな画像を作成するのに優れている。 しかし、既存の取り組みは主に画質に重点を置いており、しばしば重要な点を見下ろしている:拡散モデルは個々の画像ではなく、データ分布を表す。 これは、ユーザーの意図に反するイメージを生成し、倫理的懸念を提起する低いが批判的な機会をもたらす。 例えば、女性の特徴を持つストロークペインティングを入力したユーザは、SDEditから男性の顔を取得する可能性がある。 この潜在的な脆弱性を明らかにするため,SDEdit は入力の属性特性を変えることなく,特定の属性(女性など)に一致した特定のデータ分布を生成する。 本稿では,属性認識目的関数を用いたTAGA(Targeted Attribute Generative Attack)を提案し,入力ストローク絵に付加される対向雑音を最適化する。 実験的な研究によると、従来の敵対的ノイズはTAGAと競合し、露光や動きのぼかしといった自然な摂動は、生成した画像の属性を容易に変化させる。 効果的な攻撃を行うために、FoolSDEditを導入する: 共同対向露光とぼかし攻撃を設計し、ストローク絵に露出と動きのぼかしを追加し、それらをまとめて最適化する。 我々は,ネットワークアーキテクチャ探索問題として,様々な摂動の実行戦略を最適化する。 さまざまな摂動に対する多様な実行戦略を表すグラフであるsuperpertを作成します。 訓練後、seditに対する効果的なtagaの実行戦略を最適化する。 2つのデータセットの総合的な実験は、SDEditがターゲット属性認識データ分布を生成することを説得し、ベースラインを著しく上回ることを示す。

関連論文リスト

• CODE: Confident Ordinary Differential Editing [62.83365660727034]
  CODE(Confident Ordinary Differential Editing)は、OoD(Out-of-Distribution)ガイダンスイメージを効果的に処理する画像合成のための新しいアプローチである。 CODEは、確率フロー正規微分方程式(ODE)軌道に沿ったスコアベースの更新によって画像を強化する。 本手法は完全に盲目的に動作し,事前学習した生成モデルにのみ依存する。
  論文  参考訳（メタデータ） (2024-08-22T14:12:20Z)
• Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
  悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。 本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:45:31Z)
• Unsegment Anything by Simulating Deformation [67.10966838805132]
  「無声化」とは、「無声化の権利」を画像に付与する作業である。 我々は、全てのプロンプトベースセグメンテーションモデルに対して、転送可能な敵攻撃を実現することを目指している。 本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
  論文  参考訳（メタデータ） (2024-04-03T09:09:42Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• IMPRESS: Evaluating the Resilience of Imperceptible Perturbations Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
  拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。 知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。 本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
  論文  参考訳（メタデータ） (2023-10-30T03:33:41Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations [0.0]
  顔画像操作手法は、個人のプライバシーに影響を与えるか、偽情報を広めることによって、懸念を引き起こす可能性がある。 本研究は,顔の操作がそもそも起こらないよう,前向きな防御法を提案する。 原画像に埋め込まれた画像固有の摂動を生成する新しいデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:00:43Z)
• Generating Image Adversarial Examples by Embedding Digital Watermarks [38.93689142953098]
  本稿では,DNN(Deep Neural Network, ディープ・ニューラル・ネットワーク)モデルに対する画像逆転例を生成する,新しいデジタル透かしに基づく手法を提案する。 ホスト画像と透かし画像を選択するための効率的な機構を考案し、改良された離散ウェーブレット変換(DWT)に基づく透かしアルゴリズムを利用する。 我々のスキームは、CIFAR-10データセット上の各画像に対する攻撃を完了する平均1.17秒で、多数の敵例を効率的に生成することができる。
  論文  参考訳（メタデータ） (2020-08-14T09:03:26Z)
• AdvJND: Generating Adversarial Examples with Just Noticeable Difference [3.638233924421642]
  例に小さな摂動を加えると、優れたパフォーマンスモデルが工芸品の例を誤って分類する。 我々のAdvJNDアルゴリズムが生成した逆例は、元の入力に類似した分布を生成する。
  論文  参考訳（メタデータ） (2020-02-01T09:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。