論文の概要: Investigating and Defending Shortcut Learning in Personalized Diffusion Models
- arxiv url: http://arxiv.org/abs/2406.18944v1
- Date: Thu, 27 Jun 2024 07:14:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 14:57:01.162786
- Title: Investigating and Defending Shortcut Learning in Personalized Diffusion Models
- Title（参考訳）: パーソナライズされた拡散モデルにおけるショートカット学習の検証と予防
- Authors: Yixin Liu, Ruoxi Chen, Lichao Sun,
- Abstract要約: ショートカット学習のレンズを通して、パーソナライズされた拡散モデルの微調整過程を詳しく調べる。
摂動画像は、CLIPベースの潜伏空間において、元のペアプロンプトから大きくシフトしていることがわかった。
本稿では,潜伏画像とその意味的意味を具現化してトレーニング性能を維持するための体系的なアプローチを提案する。
- 参考スコア（独自算出の注目度）: 16.569765598914152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized diffusion models have gained popularity for adapting pre-trained text-to-image models to generate images of specific topics with only a few images. However, recent studies find that these models are vulnerable to minor adversarial perturbation, and the fine-tuning performance is largely degraded on corrupted datasets. Such characteristics are further exploited to craft protective perturbation on sensitive images like portraits that prevent unauthorized generation. In response, diffusion-based purification methods have been proposed to remove these perturbations and retain generation performance. However, existing works lack detailed analysis of the fundamental shortcut learning vulnerability of personalized diffusion models and also turn to over-purifying the images cause information loss. In this paper, we take a closer look at the fine-tuning process of personalized diffusion models through the lens of shortcut learning and propose a hypothesis that could explain the underlying manipulation mechanisms of existing perturbation methods. Specifically, we find that the perturbed images are greatly shifted from their original paired prompt in the CLIP-based latent space. As a result, training with this mismatched image-prompt pair creates a construction that causes the models to dump their out-of-distribution noisy patterns to the identifier, thus causing serious performance degradation. Based on this observation, we propose a systematic approach to retain the training performance with purification that realigns the latent image and its semantic meaning and also introduces contrastive learning with a negative token to decouple the learning of wanted clean identity and the unwanted noisy pattern, that shows strong potential capacity against further adaptive perturbation.
- Abstract（参考訳）: パーソナライズされた拡散モデルは、いくつかの画像だけで特定のトピックの画像を生成するために、事前訓練されたテキスト・ツー・イメージモデルを適用することで人気を集めている。
しかし、最近の研究では、これらのモデルが小さな逆境の摂動に弱いことが分かっており、微調整性能は破損したデータセットで大きく劣化している。
このような特徴は、不正な生成を防ぐために、肖像画のような繊細な画像に保護的な摂動を作らせるためにさらに活用される。
これに対し, これらの摂動を除去し, 生成性能を維持するため, 拡散法に基づく浄化法が提案されている。
しかし、既存の研究にはパーソナライズされた拡散モデルの基本的ショートカット学習の脆弱性の詳細な分析が欠けており、画像の過度な浄化が情報損失を引き起こしている。
本稿では、ショートカット学習のレンズを通してパーソナライズされた拡散モデルの微調整過程を詳しく検討し、既存の摂動法の基礎となる操作機構を説明する仮説を提案する。
具体的には、CLIPベースの潜伏空間において、摂動画像が元のペアのプロンプトから大きくシフトしていることが分かる。
結果として、このミスマッチしたイメージプロンプトペアを使用したトレーニングは、モデルが分布外ノイズパターンを識別子にダンプする構造を生成し、その結果、重大なパフォーマンス劣化を引き起こします。
本研究は,潜伏画像とその意味的意味を具現化してトレーニング性能を維持するための体系的なアプローチを提案し,また,より適応的な摂動に対する強い潜在能力を示す清潔なアイデンティティと望ましくない雑音パターンの学習を分離するために,負のトークンによる対照的な学習を導入する。
関連論文リスト
- Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。
本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
論文 参考訳（メタデータ） (2024-05-31T02:45:31Z) - Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。
暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。
拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
論文 参考訳（メタデータ） (2024-03-17T01:27:00Z) - Model Will Tell: Training Membership Inference for Diffusion Models [15.16244745642374]
トレーニングメンバーシップ推論(TMI)タスクは、ターゲットモデルのトレーニングプロセスで特定のサンプルが使用されているかどうかを判断することを目的としている。
本稿では,拡散モデル内における本質的な生成先行情報を活用することで,TMIタスクの新たな視点を探求する。
論文 参考訳（メタデータ） (2024-03-13T12:52:37Z) - Active Generation for Image Classification [50.18107721267218]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳（メタデータ） (2024-03-11T08:45:31Z) - Denoising Autoregressive Representation Learning [13.185567468951628]
DARLはデコーダのみのトランスフォーマーを用いて,画像パッチの自動回帰予測を行う。
提案手法では, 適応型ノイズスケジュールを用いて学習表現を改良し, より大規模なモデルでより長い訓練を行えることを示す。
論文 参考訳（メタデータ） (2024-03-08T10:19:00Z) - Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images
with Free Attention Masks [64.67735676127208]
テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。
有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。
上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
論文 参考訳（メタデータ） (2023-08-13T10:07:46Z) - Training Diffusion Models with Reinforcement Learning [82.29328477109826]
拡散モデルは、ログのような目的に近似して訓練される。
本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。
本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
論文 参考訳（メタデータ） (2023-05-22T17:57:41Z) - Diffusion Models for Adversarial Purification [69.1882221038846]
対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。
そこで我々は,拡散モデルを用いたDiffPureを提案する。
提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
論文 参考訳（メタデータ） (2022-05-16T06:03:00Z) - Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。
敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
論文 参考訳（メタデータ） (2020-09-21T19:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。