論文の概要: Investigating and Defending Shortcut Learning in Personalized Diffusion Models
- arxiv url: http://arxiv.org/abs/2406.18944v1
- Date: Thu, 27 Jun 2024 07:14:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 14:57:01.162786
- Title: Investigating and Defending Shortcut Learning in Personalized Diffusion Models
- Title（参考訳）: パーソナライズされた拡散モデルにおけるショートカット学習の検証と予防
- Authors: Yixin Liu, Ruoxi Chen, Lichao Sun,
- Abstract要約: ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。
摂動画像は、CLIPベースの潜伏空間において、元のペアプロンプトから大きくシフトしていることがわかった。
本稿では,潜伏画像とその意味的意味を具現化してトレーニング性能を維持するための体系的なアプローチを提案する。
- 参考スコア（独自算出の注目度）: 16.569765598914152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized diffusion models have gained popularity for adapting pre-trained text-to-image models to generate images of specific topics with only a few images. However, recent studies find that these models are vulnerable to minor adversarial perturbation, and the fine-tuning performance is largely degraded on corrupted datasets. Such characteristics are further exploited to craft protective perturbation on sensitive images like portraits that prevent unauthorized generation. In response, diffusion-based purification methods have been proposed to remove these perturbations and retain generation performance. However, existing works lack detailed analysis of the fundamental shortcut learning vulnerability of personalized diffusion models and also turn to over-purifying the images cause information loss. In this paper, we take a closer look at the fine-tuning process of personalized diffusion models through the lens of shortcut learning and propose a hypothesis that could explain the underlying manipulation mechanisms of existing perturbation methods. Specifically, we find that the perturbed images are greatly shifted from their original paired prompt in the CLIP-based latent space. As a result, training with this mismatched image-prompt pair creates a construction that causes the models to dump their out-of-distribution noisy patterns to the identifier, thus causing serious performance degradation. Based on this observation, we propose a systematic approach to retain the training performance with purification that realigns the latent image and its semantic meaning and also introduces contrastive learning with a negative token to decouple the learning of wanted clean identity and the unwanted noisy pattern, that shows strong potential capacity against further adaptive perturbation.
- Abstract（参考訳）: パーソナライズされた拡散モデルは、いくつかの画像だけで特定のトピックの画像を生成するために、事前訓練されたテキスト・ツー・イメージモデルを適用することで人気を集めている。
しかし、最近の研究では、これらのモデルが小さな逆境の摂動に弱いことが分かっており、微調整性能は破損したデータセットで大きく劣化している。
このような特徴は、不正な生成を防ぐために、肖像画のような繊細な画像に保護的な摂動を作らせるためにさらに活用される。
これに対し, これらの摂動を除去し, 生成性能を維持するため, 拡散法に基づく浄化法が提案されている。
しかし、既存の研究にはパーソナライズされた拡散モデルの基本的ショートカット学習の脆弱性の詳細な分析が欠けており、画像の過度な浄化が情報損失を引き起こしている。
本稿では、ショートカット学習のレンズを通してパーソナライズされた拡散モデルの微調整過程を詳しく検討し、既存の摂動法の基礎となる操作機構を説明する仮説を提案する。
具体的には、CLIPベースの潜伏空間において、摂動画像が元のペアのプロンプトから大きくシフトしていることが分かる。
結果として、このミスマッチしたイメージプロンプトペアを使用したトレーニングは、モデルが分布外ノイズパターンを識別子にダンプする構造を生成し、その結果、重大なパフォーマンス劣化を引き起こします。
本研究は,潜伏画像とその意味的意味を具現化してトレーニング性能を維持するための体系的なアプローチを提案し,また,より適応的な摂動に対する強い潜在能力を示す清潔なアイデンティティと望ましくない雑音パターンの学習を分離するために,負のトークンによる対照的な学習を導入する。
関連論文リスト
- Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness [56.2479170374811]
我々はFT-CADIS(Fun Fine-Tuning with Confidence-Aware Denoized Image Selection)を紹介する。
FT-CADISは、既成の分類器の信頼性が、視覚的平滑化中の幻覚像を効果的に識別できるという観察に着想を得たものである。
様々なベンチマークにおいて、すべての$ell$-adversary半径にわたる偏微分平滑化法のうち、最先端の証明されたロバスト性を確立している。
論文 参考訳（メタデータ） (2024-11-13T09:13:20Z) - A Grey-box Attack against Latent Diffusion Model-based Image Editing by Posterior Collapse [9.777410374242972]
生成AI、特に潜在拡散モデル(LDM)の最近の進歩は、画像合成と操作に革命をもたらした。
VAEが訓練中に後部崩壊をきたすという観察に基づくPCA(Posterior Collapse Attack)を提案する。
本手法は,対象モデルのホワイトボックス情報への依存を最小限に抑え,モデル固有の知識への暗黙的な依存を取り除く。
論文 参考訳（メタデータ） (2024-08-20T14:43:53Z) - DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。
しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。
本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。
これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
論文 参考訳（メタデータ） (2024-07-29T16:11:21Z) - Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。
特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。
拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
論文 参考訳（メタデータ） (2024-06-26T17:40:30Z) - Semantic Deep Hiding for Robust Unlearnable Examples [33.68037533119807]
深層学習モデルを誤解させ、データを不正な探索から防ぐために、未学習例が提案されている。
本稿では,高次特徴に富んだセマンティック画像を適応的に隠蔽するDeep Hiding方式を提案する。
提案手法は学習不可能な事例に対して顕著なロバスト性を示し,その有効性を示す。
論文 参考訳（メタデータ） (2024-06-25T08:05:42Z) - DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
論文 参考訳（メタデータ） (2024-04-01T18:59:13Z) - Improving Adversarial Robustness of Masked Autoencoders via Test-time
Frequency-domain Prompting [133.55037976429088]
BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。
意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。
我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-08-20T16:27:17Z) - Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images
with Free Attention Masks [64.67735676127208]
テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。
有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。
上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
論文 参考訳（メタデータ） (2023-08-13T10:07:46Z) - Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。
この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
論文 参考訳（メタデータ） (2023-06-02T20:19:19Z) - Minimum Noticeable Difference based Adversarial Privacy Preserving Image
Generation [44.2692621807947]
クリーンなものと最小限の知覚差を持つが、ディープラーニングモデルに攻撃できる敵対的プライバシ保護画像を生成するためのフレームワークを開発する。
我々の知る限りでは、これはプライバシー保護のためのMND概念に基づく品質保護の敵画像生成を探求する最初の試みである。
論文 参考訳（メタデータ） (2022-06-17T09:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。