Fugu-MT 論文翻訳(概要): Disrupting Diffusion-based Inpainters with Semantic Digression

論文の概要: Disrupting Diffusion-based Inpainters with Semantic Digression

arxiv url: http://arxiv.org/abs/2407.10277v1
Date: Sun, 14 Jul 2024 17:21:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 18:49:26.836235
Title: Disrupting Diffusion-based Inpainters with Semantic Digression
Title（参考訳）: セマンティックディグレッションによる拡散型インペインターの破壊
Authors: Geonho Son, Juhun Lee, Simon S. Woo,
Abstract要約: Web やソーシャルメディア上での視覚的誤情報の生成は,テキスト・画像拡散モデルの出現とともに指数関数的に増加している。すなわち、安定拡散のインペイントは、個人的および私的人物の悪意に塗られたイメージと、ディープフェイク(deepfakes)として知られる著作権のあるコンテンツの合成を可能にする。このような世代と戦うために、フォトガードと呼ばれる破壊的枠組みが提案され、環境画像に逆ノイズを加えて、その影響を和らげる合成を妨害する。彼らのフレームワークは拡散に親しみやすいアプローチを提案するが、破壊は十分に強くはなく、コンテキストイメージを免疫するのにかなりの量のGPUと時間を必要とする。
参考スコア（独自算出の注目度）: 20.10876695099345
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The fabrication of visual misinformation on the web and social media has increased exponentially with the advent of foundational text-to-image diffusion models. Namely, Stable Diffusion inpainters allow the synthesis of maliciously inpainted images of personal and private figures, and copyrighted contents, also known as deepfakes. To combat such generations, a disruption framework, namely Photoguard, has been proposed, where it adds adversarial noise to the context image to disrupt their inpainting synthesis. While their framework suggested a diffusion-friendly approach, the disruption is not sufficiently strong and it requires a significant amount of GPU and time to immunize the context image. In our work, we re-examine both the minimal and favorable conditions for a successful inpainting disruption, proposing DDD, a "Digression guided Diffusion Disruption" framework. First, we identify the most adversarially vulnerable diffusion timestep range with respect to the hidden space. Within this scope of noised manifold, we pose the problem as a semantic digression optimization. We maximize the distance between the inpainting instance's hidden states and a semantic-aware hidden state centroid, calibrated both by Monte Carlo sampling of hidden states and a discretely projected optimization in the token space. Effectively, our approach achieves stronger disruption and a higher success rate than Photoguard while lowering the GPU memory requirement, and speeding the optimization up to three times faster.
Abstract（参考訳）: ウェブやソーシャルメディア上での視覚的誤情報の作成は、基礎的なテキスト・画像拡散モデルの出現とともに指数関数的に増加している。すなわち、安定拡散のインペイントは、個人的および私的人物の悪意に塗られたイメージと、ディープフェイク(deepfakes)として知られる著作権のあるコンテンツの合成を可能にする。このような世代と戦うために、フォトガードと呼ばれる破壊的枠組みが提案され、環境画像に逆ノイズを加えて、その影響を和らげる合成を妨害する。彼らのフレームワークは拡散フレンドリなアプローチを提案するが、破壊は十分に強くはなく、コンテキストイメージを免疫するのにかなりのGPUと時間を要する。当社の作業では、DDD(Digression Guided Diffusion Disruption)フレームワークを提唱して、画期的な破壊を成功させるために、最小限の条件と好ましくない条件の両方を再検討しています。まず,最も逆の弱い拡散時間範囲を隠れた空間に対して同定する。このノイズ多様体の範囲内では、意味的回帰最適化として問題を提起する。我々は,隠蔽状態のモンテカルロサンプリングとトークン空間における離散的に投影された最適化の両方により,インペイントインスタンスの隠蔽状態とセマンティックアウェアの隠蔽状態セントロイドとの距離を最大化する。提案手法は,GPUメモリ要件を低くし,最適化を最大3倍高速化しながら,Photoguardよりも強い破壊と成功率を達成する。

関連論文リスト

Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
論文参考訳（メタデータ） (2024-07-10T19:58:04Z)
JIGMARK: A Black-Box Approach for Enhancing Image Watermarks against Diffusion Model Edits [76.25962336540226]
JIGMARKは、コントラスト学習による堅牢性を高める、第一級の透かし技術である。本評価の結果,JIGMARKは既存の透かし法をはるかに上回っていることがわかった。
論文参考訳（メタデータ） (2024-06-06T03:31:41Z)
Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
論文参考訳（メタデータ） (2024-05-31T02:45:31Z)
Privacy-Preserving Diffusion Model Using Homomorphic Encryption [5.282062491549009]
HE拡散(HE-Diffusion)と呼ばれる同相暗号を利用したプライバシー保護型安定拡散フレームワークを提案する。本稿では,効率的な部分的画像暗号化を実現するための新しいミン歪み法を提案する。 HEベースのプライバシ保存型安定拡散推論の実装に成功した。
論文参考訳（メタデータ） (2024-03-09T04:56:57Z)
Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文参考訳（メタデータ） (2023-12-18T15:25:23Z)
IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks [16.577595936609665]
本稿では,画像再サンプリングという,敵対的攻撃に対する新たなアプローチを提案する。画像再サンプリングは、幾何学的変換によって指定されたシーンの再調整や再レンダリングの過程をシミュレートして、離散画像を新しい画像に変換する。本手法は,クリーンな画像の精度を維持しつつ,多様な深層モデルの様々な攻撃に対する対角的堅牢性を著しく向上することを示す。
論文参考訳（メタデータ） (2023-10-18T11:19:32Z)
Semantic Adversarial Attacks via Diffusion Models [30.169827029761702]
セマンティック敵攻撃は、色、コンテキスト、特徴などのクリーンな例のセマンティック属性の変更に焦点を当てる。本稿では,近年の拡散モデルを利用して,セマンティック・アタックを迅速に生成するフレームワークを提案する。提案手法は,FIDが36.61である複数環境での攻撃成功率を約100%達成する。
論文参考訳（メタデータ） (2023-09-14T02:57:48Z)
MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文参考訳（メタデータ） (2023-09-08T15:53:37Z)
DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection [64.77548539959501]
DiffProtectは最先端の方法よりも自然に見える暗号化画像を生成する。例えば、CelebA-HQとFFHQのデータセットで24.5%と25.1%の絶対的な改善が達成されている。
論文参考訳（メタデータ） (2023-05-23T02:45:49Z)
Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling Augmentation Framework [20.652130361862053]
顔認識保護アルゴリズムの防御性能を高めるために,Adversarial Decoupling Augmentation Framework (ADAF)を提案する。 ADAFは、様々な攻撃プロンプトに対する防御安定のために、多レベルテキスト関連の拡張を導入している。
論文参考訳（メタデータ） (2023-05-06T09:00:50Z)
SDM: Spatial Diffusion Model for Large Hole Image Inpainting [106.90795513361498]
本稿では,空間拡散モデル(SDM)を提案する。また,提案手法は非結合確率モデルと空間拡散スキームにより,高品質な大穴工法を実現する。
論文参考訳（メタデータ） (2022-12-06T13:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。