論文の概要: Investigating and Defending Shortcut Learning in Personalized Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.18944v3
• Date: Wed, 7 Aug 2024 13:37:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 15:05:56.645446
• Title: Investigating and Defending Shortcut Learning in Personalized Diffusion Models
• Title（参考訳）: パーソナライズされた拡散モデルにおけるショートカット学習の検証と予防
• Authors: Yixin Liu, Ruoxi Chen, Lichao Sun,
• Abstract要約: ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。 この微調整時のミスアライメントは、モデルがノイズパターンと識別子を関連付ける原因となり、性能が低下する。 提案手法は,まず画像に固有の意味的意味を潜時空間で認識する。
• 参考スコア（独自算出の注目度）: 16.569765598914152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized diffusion models have gained popularity for adapting pre-trained text-to-image models to generate images of specific topics with minimal training data. However, these models are vulnerable to minor adversarial perturbations, leading to degraded performance on corrupted datasets. Such vulnerabilities are further exploited to craft protective perturbations on sensitive images like portraits that prevent unauthorized generation. In response, diffusion-based purification methods have been proposed to remove these perturbations and retain generation performance. However, existing works turn to over-purifying the images, which causes information loss. In this paper, we take a closer look at the fine-tuning process of personalized diffusion models through the lens of shortcut learning. And we propose a hypothesis explaining the manipulation mechanisms of existing perturbation methods, demonstrating that perturbed images significantly deviate from their original prompts in the CLIP-based latent space. This misalignment during fine-tuning causes models to associate noisy patterns with identifiers, resulting in performance degradation. Based on these insights, we introduce a systematic approach to maintain training performance through purification. Our method first purifies the images to realign them with their original semantic meanings in latent space. Then, we introduce contrastive learning with negative tokens to decouple the learning of clean identities from noisy patterns, which shows a strong potential capacity against adaptive perturbation. Our study uncovers shortcut learning vulnerabilities in personalized diffusion models and provides a firm evaluation framework for future protective perturbation research. Code is available at https://github.com/liuyixin-louis/DiffShortcut.
• Abstract（参考訳）: パーソナライズされた拡散モデルは、訓練済みのテキスト・ツー・イメージ・モデルを適用して、最小限のトレーニングデータで特定のトピックの画像を生成することで人気を集めている。 しかし、これらのモデルは小さな逆境の摂動に弱いため、破損したデータセットのパフォーマンスが低下する。 このような脆弱性は、不正な生成を防ぐポートレートのような機密性の高い画像に、保護的な摂動を作らせるためにさらに活用されている。 これに対し, これらの摂動を除去し, 生成性能を維持するため, 拡散法に基づく浄化法が提案されている。 しかし、既存の作品では画像の浄化が過度に行われ、情報が失われる。 本稿では、ショートカット学習のレンズを通してパーソナライズされた拡散モデルの微調整過程について詳しく検討する。 また,既存の摂動法の操作機構を説明する仮説を提案し,CLIPをベースとした潜伏空間において,摂動画像が元のプロンプトから著しく逸脱していることを示す。 この微調整時のミスアライメントは、モデルがノイズパターンと識別子を関連付ける原因となり、性能が低下する。 これらの知見に基づき, 浄化によるトレーニング性能維持のための体系的アプローチを導入する。 提案手法は,まず画像の清浄化を行い,その意味を潜在空間で意味づける。 そして,ノイズパターンからクリーンなアイデンティティの学習を分離するために,負のトークンを用いた対照的な学習を導入し,適応的摂動に対する強い潜在能力を示す。 本研究は,パーソナライズされた拡散モデルにおけるショートカット学習の脆弱性を明らかにし,将来の保護摂動研究のためのしっかりとした評価枠組みを提供する。 コードはhttps://github.com/liuyixin-louis/DiffShortcut.comで入手できる。

関連論文リスト

• Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness [56.2479170374811]
  我々はFT-CADIS(Fun Fine-Tuning with Confidence-Aware Denoized Image Selection)を紹介する。 FT-CADISは、既成の分類器の信頼性が、視覚的平滑化中の幻覚像を効果的に識別できるという観察に着想を得たものである。 様々なベンチマークにおいて、すべての$ell$-adversary半径にわたる偏微分平滑化法のうち、最先端の証明されたロバスト性を確立している。
  論文  参考訳（メタデータ） (2024-11-13T09:13:20Z)
• A Grey-box Attack against Latent Diffusion Model-based Image Editing by Posterior Collapse [9.777410374242972]
  生成AI、特に潜在拡散モデル(LDM)の最近の進歩は、画像合成と操作に革命をもたらした。 VAEが訓練中に後部崩壊をきたすという観察に基づくPCA(Posterior Collapse Attack)を提案する。 本手法は,対象モデルのホワイトボックス情報への依存を最小限に抑え,モデル固有の知識への暗黙的な依存を取り除く。
  論文  参考訳（メタデータ） (2024-08-20T14:43:53Z)
• DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
  拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。 しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。 本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。 これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
  論文  参考訳（メタデータ） (2024-07-29T16:11:21Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Semantic Deep Hiding for Robust Unlearnable Examples [33.68037533119807]
  深層学習モデルを誤解させ、データを不正な探索から防ぐために、未学習例が提案されている。 本稿では,高次特徴に富んだセマンティック画像を適応的に隠蔽するDeep Hiding方式を提案する。 提案手法は学習不可能な事例に対して顕著なロバスト性を示し,その有効性を示す。
  論文  参考訳（メタデータ） (2024-06-25T08:05:42Z)
• DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
  DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
  論文  参考訳（メタデータ） (2024-04-01T18:59:13Z)
• Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting [133.55037976429088]
  BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。 意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。 我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-08-20T16:27:17Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
  本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。 この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
  論文  参考訳（メタデータ） (2023-06-02T20:19:19Z)
• Minimum Noticeable Difference based Adversarial Privacy Preserving Image Generation [44.2692621807947]
  クリーンなものと最小限の知覚差を持つが、ディープラーニングモデルに攻撃できる敵対的プライバシ保護画像を生成するためのフレームワークを開発する。 我々の知る限りでは、これはプライバシー保護のためのMND概念に基づく品質保護の敵画像生成を探求する最初の試みである。
  論文  参考訳（メタデータ） (2022-06-17T09:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。