論文の概要: Disrupting Diffusion-based Inpainters with Semantic Digression

• arxiv url: http://arxiv.org/abs/2407.10277v1
• Date: Sun, 14 Jul 2024 17:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:49:26.836235
• Title: Disrupting Diffusion-based Inpainters with Semantic Digression
• Title（参考訳）: セマンティックディグレッションによる拡散型インペインターの破壊
• Authors: Geonho Son, Juhun Lee, Simon S. Woo,
• Abstract要約: Web やソーシャルメディア上での視覚的誤情報の生成は,テキスト・画像拡散モデルの出現とともに指数関数的に増加している。 すなわち、安定拡散のインペイントは、個人的および私的人物の悪意に塗られたイメージと、ディープフェイク(deepfakes)として知られる著作権のあるコンテンツの合成を可能にする。 このような世代と戦うために、フォトガードと呼ばれる破壊的枠組みが提案され、環境画像に逆ノイズを加えて、その影響を和らげる合成を妨害する。 彼らのフレームワークは拡散に親しみやすいアプローチを提案するが、破壊は十分に強くはなく、コンテキストイメージを免疫するのにかなりの量のGPUと時間を必要とする。
• 参考スコア（独自算出の注目度）: 20.10876695099345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fabrication of visual misinformation on the web and social media has increased exponentially with the advent of foundational text-to-image diffusion models. Namely, Stable Diffusion inpainters allow the synthesis of maliciously inpainted images of personal and private figures, and copyrighted contents, also known as deepfakes. To combat such generations, a disruption framework, namely Photoguard, has been proposed, where it adds adversarial noise to the context image to disrupt their inpainting synthesis. While their framework suggested a diffusion-friendly approach, the disruption is not sufficiently strong and it requires a significant amount of GPU and time to immunize the context image. In our work, we re-examine both the minimal and favorable conditions for a successful inpainting disruption, proposing DDD, a "Digression guided Diffusion Disruption" framework. First, we identify the most adversarially vulnerable diffusion timestep range with respect to the hidden space. Within this scope of noised manifold, we pose the problem as a semantic digression optimization. We maximize the distance between the inpainting instance's hidden states and a semantic-aware hidden state centroid, calibrated both by Monte Carlo sampling of hidden states and a discretely projected optimization in the token space. Effectively, our approach achieves stronger disruption and a higher success rate than Photoguard while lowering the GPU memory requirement, and speeding the optimization up to three times faster.
• Abstract（参考訳）: ウェブやソーシャルメディア上での視覚的誤情報の作成は、基礎的なテキスト・画像拡散モデルの出現とともに指数関数的に増加している。 すなわち、安定拡散のインペイントは、個人的および私的人物の悪意に塗られたイメージと、ディープフェイク(deepfakes)として知られる著作権のあるコンテンツの合成を可能にする。 このような世代と戦うために、フォトガードと呼ばれる破壊的枠組みが提案され、環境画像に逆ノイズを加えて、その影響を和らげる合成を妨害する。 彼らのフレームワークは拡散フレンドリなアプローチを提案するが、破壊は十分に強くはなく、コンテキストイメージを免疫するのにかなりのGPUと時間を要する。 当社の作業では、DDD(Digression Guided Diffusion Disruption)フレームワークを提唱して、画期的な破壊を成功させるために、最小限の条件と好ましくない条件の両方を再検討しています。 まず,最も逆の弱い拡散時間範囲を隠れた空間に対して同定する。 このノイズ多様体の範囲内では、意味的回帰最適化として問題を提起する。 我々は,隠蔽状態のモンテカルロサンプリングとトークン空間における離散的に投影された最適化の両方により,インペイントインスタンスの隠蔽状態とセマンティックアウェアの隠蔽状態セントロイドとの距離を最大化する。 提案手法は,GPUメモリ要件を低くし,最適化を最大3倍高速化しながら,Photoguardよりも強い破壊と成功率を達成する。

関連論文リスト

• Sparse Repellency for Shielded Generation in Text-to-image Diffusion Models [29.083402085790016]
  本稿では,事前学習した拡散モデルのサンプル軌跡を,参照集合外に落下する画像上に着陸させる手法を提案する。 生成軌道全体にわたって拡散SDEに反発項を追加することでこれを実現できる。 一般的な拡散モデルにSPELLを追加することで、FIDにわずかに影響を与えながら多様性が向上し、最近のトレーニングフリーの多様性手法よりも比較的優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-08T13:26:32Z)
• DiffusionGuard: A Robust Defense Against Malicious Diffusion-based Image Editing [93.45507533317405]
  DiffusionGuardは、拡散ベースの画像編集モデルによる不正な編集に対する堅牢で効果的な防御方法である。 拡散過程の初期段階をターゲットとした対向雑音を発生させる新しい目的を提案する。 また,テスト期間中の各種マスクに対するロバスト性を高めるマスク強化手法も導入した。
  論文  参考訳（メタデータ） (2024-10-08T05:19:19Z)
• Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
  PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。 本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
  論文  参考訳（メタデータ） (2024-07-10T19:58:04Z)
• Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
  悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。 本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:45:31Z)
• Privacy-Preserving Diffusion Model Using Homomorphic Encryption [5.282062491549009]
  HE拡散(HE-Diffusion)と呼ばれる同相暗号を利用したプライバシー保護型安定拡散フレームワークを提案する。 本稿では,効率的な部分的画像暗号化を実現するための新しいミン歪み法を提案する。 HEベースのプライバシ保存型安定拡散推論の実装に成功した。
  論文  参考訳（メタデータ） (2024-03-09T04:56:57Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks [16.577595936609665]
  本稿では,画像再サンプリングという,敵対的攻撃に対する新たなアプローチを提案する。 画像再サンプリングは、幾何学的変換によって指定されたシーンの再調整や再レンダリングの過程をシミュレートして、離散画像を新しい画像に変換する。 本手法は,クリーンな画像の精度を維持しつつ,多様な深層モデルの様々な攻撃に対する対角的堅牢性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T11:19:32Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
  DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。 例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
  論文  参考訳（メタデータ） (2023-05-23T02:45:49Z)
• Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling Augmentation Framework [20.652130361862053]
  顔認識保護アルゴリズムの防御性能を高めるために,Adversarial Decoupling Augmentation Framework (ADAF)を提案する。 ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。
  論文  参考訳（メタデータ） (2023-05-06T09:00:50Z)
• SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
  本稿では,空間拡散モデル(SDM)を提案する。 また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
  論文  参考訳（メタデータ） (2022-12-06T13:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。