論文の概要: Rethinking and Defending Protective Perturbation in Personalized Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.18944v4
• Date: Thu, 03 Oct 2024 03:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 17:53:08.409760
• Title: Rethinking and Defending Protective Perturbation in Personalized Diffusion Models
• Title（参考訳）: パーソナライズされた拡散モデルにおける保護摂動の再考と抑制
• Authors: Yixin Liu, Ruoxi Chen, Xun Chen, Lichao Sun,
• Abstract要約: パーソナライズされた拡散モデル(PDM)の微調整過程について,ショートカット学習のレンズを用いて検討した。 PDMは小さな逆境の摂動に影響を受けやすいため、破損したデータセットを微調整すると著しく劣化する。 本稿では,データ浄化と対照的なデカップリング学習を含むシステム防衛フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.30373461975769
• License:
• Abstract: Personalized diffusion models (PDMs) have become prominent for adapting pretrained text-to-image models to generate images of specific subjects using minimal training data. However, PDMs are susceptible to minor adversarial perturbations, leading to significant degradation when fine-tuned on corrupted datasets. These vulnerabilities are exploited to create protective perturbations that prevent unauthorized image generation. Existing purification methods attempt to mitigate this issue but often over-purify images, resulting in information loss. In this work, we conduct an in-depth analysis of the fine-tuning process of PDMs through the lens of shortcut learning. We hypothesize and empirically demonstrate that adversarial perturbations induce a latent-space misalignment between images and their text prompts in the CLIP embedding space. This misalignment causes the model to erroneously associate noisy patterns with unique identifiers during fine-tuning, resulting in poor generalization. Based on these insights, we propose a systematic defense framework that includes data purification and contrastive decoupling learning. We first employ off-the-shelf image restoration techniques to realign images with their original semantic meanings in latent space. Then, we introduce contrastive decoupling learning with noise tokens to decouple the learning of personalized concepts from spurious noise patterns. Our study not only uncovers fundamental shortcut learning vulnerabilities in PDMs but also provides a comprehensive evaluation framework for developing stronger protection. Our extensive evaluation demonstrates its superiority over existing purification methods and stronger robustness against adaptive perturbation.
• Abstract（参考訳）: パーソナライズド拡散モデル(PDM)は、訓練済みのテキスト・ツー・イメージ・モデルに適応し、最小限のトレーニングデータを用いて特定の被験者の画像を生成する。 しかし、PDMは小さな逆境の摂動に影響を受けやすいため、破損したデータセットを微調整すると著しく劣化する。 これらの脆弱性は、不正な画像生成を防ぐための保護的摂動を生み出すために悪用される。 既存の浄化法ではこの問題を緩和しようとするが、しばしば画像が過剰に浄化され、情報が失われる。 本研究では,PDMの微調整過程を,ショートカット学習のレンズを通して詳細に解析する。 我々は,CLIP埋め込み空間における画像とそのテキストプロンプト間の遅延空間の不整合を,逆方向の摂動が引き起こすことを仮説および実証的に実証した。 このミスアライメントは、モデルが微調整中にノイズパターンとユニークな識別子を誤って関連付け、一般化が不十分になる。 これらの知見に基づいて、データ浄化と対照的な疎結合学習を含む、系統的な防御フレームワークを提案する。 我々はまず,市販画像復元技術を用いて,本来の意味的意味を潜時空間で認識する。 次に、ノイズトークンを用いた対照的な分離学習を導入し、突発的なノイズパターンからパーソナライズされた概念の学習を分離する。 本研究は、PDMの基本的なショートカット学習脆弱性を明らかにするだけでなく、より強力な保護を開発するための総合的な評価フレームワークも提供する。 本研究は,既存の浄化法よりも優れた性能を示し,適応摂動に対する強靭性を示した。

関連論文リスト

• A Grey-box Attack against Latent Diffusion Model-based Image Editing by Posterior Collapse [9.777410374242972]
  生成AI、特に潜在拡散モデル(LDM)の最近の進歩は、画像合成と操作に革命をもたらした。 VAEが訓練中に後部崩壊をきたすという観察に基づくPCA(Posterior Collapse Attack)を提案する。 本手法は,対象モデルのホワイトボックス情報への依存を最小限に抑え,モデル固有の知識への暗黙的な依存を取り除く。
  論文  参考訳（メタデータ） (2024-08-20T14:43:53Z)
• DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
  拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。 しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。 本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。 これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
  論文  参考訳（メタデータ） (2024-07-29T16:11:21Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Semantic Deep Hiding for Robust Unlearnable Examples [33.68037533119807]
  深層学習モデルを誤解させ、データを不正な探索から防ぐために、未学習例が提案されている。 本稿では,高次特徴に富んだセマンティック画像を適応的に隠蔽するDeep Hiding方式を提案する。 提案手法は学習不可能な事例に対して顕著なロバスト性を示し,その有効性を示す。
  論文  参考訳（メタデータ） (2024-06-25T08:05:42Z)
• DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
  DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
  論文  参考訳（メタデータ） (2024-04-01T18:59:13Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
  本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。 この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
  論文  参考訳（メタデータ） (2023-06-02T20:19:19Z)
• Minimum Noticeable Difference based Adversarial Privacy Preserving Image Generation [44.2692621807947]
  クリーンなものと最小限の知覚差を持つが、ディープラーニングモデルに攻撃できる敵対的プライバシ保護画像を生成するためのフレームワークを開発する。 我々の知る限りでは、これはプライバシー保護のためのMND概念に基づく品質保護の敵画像生成を探求する最初の試みである。
  論文  参考訳（メタデータ） (2022-06-17T09:02:12Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。