論文の概要: Understanding and Mitigating Copying in Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.20086v1
- Date: Wed, 31 May 2023 17:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 14:32:44.353895
- Title: Understanding and Mitigating Copying in Diffusion Models
- Title(参考訳): 拡散モデルにおけるコピーの理解と緩和
- Authors: Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping and Tom
Goldstein
- Abstract要約: 安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
- 参考スコア(独自算出の注目度): 53.03978584040557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Images generated by diffusion models like Stable Diffusion are increasingly
widespread. Recent works and even lawsuits have shown that these models are
prone to replicating their training data, unbeknownst to the user. In this
paper, we first analyze this memorization problem in text-to-image diffusion
models. While it is widely believed that duplicated images in the training set
are responsible for content replication at inference time, we observe that the
text conditioning of the model plays a similarly important role. In fact, we
see in our experiments that data replication often does not happen for
unconditional models, while it is common in the text-conditional case.
Motivated by our findings, we then propose several techniques for reducing data
replication at both training and inference time by randomizing and augmenting
image captions in the training set.
- Abstract(参考訳): 安定拡散のような拡散モデルによって生成される画像はますます普及している。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
本稿では,テキスト・画像拡散モデルにおいて,この記憶問題をまず解析する。
トレーニングセット内の重複画像は,推定時のコンテンツ複製に責任があると広く信じられているが,モデルのテキストコンディショニングも同様に重要な役割を担っている。
実際、我々の実験では、データ複製は無条件モデルでは起こらないことが多いが、テキスト条件の場合は一般的である。
そこで本研究では,トレーニングセットにおける画像キャプションのランダム化と増大により,トレーニング時間と推論時間の両方でデータ複製を減らす手法を提案する。
関連論文リスト
- Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。
研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。
データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
論文 参考訳(メタデータ) (2024-06-01T15:47:13Z) - Frame by Familiar Frame: Understanding Replication in Video Diffusion Models [28.360705633967353]
ビデオ生成は、その高次元の性質、トレーニングデータの不足、そして関連する複雑な関係により、より大きな課題をもたらす。
さらに制約のあるデータセットで動作するビデオ拡散モデルは、トレーニングセットからサンプルを複製する傾向にある。
本稿では,ビデオ拡散モデルにおけるサンプル複製現象の系統的研究を行う。
論文 参考訳(メタデータ) (2024-03-28T17:15:23Z) - Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。
暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。
拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
論文 参考訳(メタデータ) (2024-03-17T01:27:00Z) - Memory Triggers: Unveiling Memorization in Text-To-Image Generative
Models through Word-Level Duplication [16.447035745151428]
拡散ベースのモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。
これらのモデルはまた、正確なトレーニングサンプルを複製し、プライバシーリスクを装い、敵の攻撃を可能にする傾向があることを懸念している。
本稿では拡散モデルにおける推論中に複製を引き起こす2つの異なる重複と未探索の重複に焦点を当てる。
論文 参考訳(メタデータ) (2023-12-06T18:54:44Z) - Mitigate Replication and Copying in Diffusion Models with Generalized
Caption and Dual Fusion Enhancement [7.9911486976035215]
本稿では,キャプションの一般性を測定し,大言語モデル(LLM)を用いてトレーニングキャプションを一般化する一般化スコアを提案する。
一般化キャプションを活用し,拡散モデルの複製を緩和する新しい二重核融合拡張手法を提案する。
論文 参考訳(メタデータ) (2023-09-13T18:43:13Z) - Reverse Stable Diffusion: What prompt was used to generate this image? [80.82832715884597]
生成拡散モデルにより生成された画像からテキストプロンプトを予測する新しいタスクを導入する。
本稿では,複数ラベルの語彙分類を目的とし,協調的即時回帰と複数ラベルの語彙分類からなる新しい学習フレームワークを提案する。
我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
論文 参考訳(メタデータ) (2023-08-02T23:39:29Z) - Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。
本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
論文 参考訳(メタデータ) (2023-05-18T05:41:36Z) - Extracting Training Data from Diffusion Models [77.11719063152027]
拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。
生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。
さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
論文 参考訳(メタデータ) (2023-01-30T18:53:09Z) - Diffusion Art or Digital Forgery? Investigating Data Replication in
Diffusion Models [53.03978584040557]
生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。
フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
論文 参考訳(メタデータ) (2022-12-07T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。