論文の概要: Understanding and Mitigating Copying in Diffusion Models
- arxiv url: http://arxiv.org/abs/2305.20086v1
- Date: Wed, 31 May 2023 17:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 14:32:44.353895
- Title: Understanding and Mitigating Copying in Diffusion Models
- Title(参考訳): 拡散モデルにおけるコピーの理解と緩和
- Authors: Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping and Tom
Goldstein
- Abstract要約: 安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
- 参考スコア(独自算出の注目度): 53.03978584040557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Images generated by diffusion models like Stable Diffusion are increasingly
widespread. Recent works and even lawsuits have shown that these models are
prone to replicating their training data, unbeknownst to the user. In this
paper, we first analyze this memorization problem in text-to-image diffusion
models. While it is widely believed that duplicated images in the training set
are responsible for content replication at inference time, we observe that the
text conditioning of the model plays a similarly important role. In fact, we
see in our experiments that data replication often does not happen for
unconditional models, while it is common in the text-conditional case.
Motivated by our findings, we then propose several techniques for reducing data
replication at both training and inference time by randomizing and augmenting
image captions in the training set.
- Abstract(参考訳): 安定拡散のような拡散モデルによって生成される画像はますます普及している。
最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
本稿では,テキスト・画像拡散モデルにおいて,この記憶問題をまず解析する。
トレーニングセット内の重複画像は,推定時のコンテンツ複製に責任があると広く信じられているが,モデルのテキストコンディショニングも同様に重要な役割を担っている。
実際、我々の実験では、データ複製は無条件モデルでは起こらないことが多いが、テキスト条件の場合は一般的である。
そこで本研究では,トレーニングセットにおける画像キャプションのランダム化と増大により,トレーニング時間と推論時間の両方でデータ複製を減らす手法を提案する。
関連論文リスト
- Memory Triggers: Unveiling Memorization in Text-To-Image Generative
Models through Word-Level Duplication [16.447035745151428]
拡散ベースのモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。
これらのモデルはまた、正確なトレーニングサンプルを複製し、プライバシーリスクを装い、敵の攻撃を可能にする傾向があることを懸念している。
本稿では拡散モデルにおける推論中に複製を引き起こす2つの異なる重複と未探索の重複に焦点を当てる。
論文 参考訳(メタデータ) (2023-12-06T18:54:44Z) - Mitigate Replication and Copying in Diffusion Models with Generalized
Caption and Dual Fusion Enhancement [7.9911486976035215]
本稿では,キャプションの一般性を測定し,大言語モデル(LLM)を用いてトレーニングキャプションを一般化する一般化スコアを提案する。
一般化キャプションを活用し,拡散モデルの複製を緩和する新しい二重核融合拡張手法を提案する。
論文 参考訳(メタデータ) (2023-09-13T18:43:13Z) - Reverse Stable Diffusion: What prompt was used to generate this image? [80.82832715884597]
生成拡散モデルにより生成された画像からテキストプロンプトを予測する新しいタスクを導入する。
本稿では,複数ラベルの語彙分類を目的とし,協調的即時回帰と複数ラベルの語彙分類からなる新しい学習フレームワークを提案する。
我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
論文 参考訳(メタデータ) (2023-08-02T23:39:29Z) - The Bias Amplification Paradox in Text-to-Image Generation [23.7496998646073]
安定拡散を用いたテキスト・画像領域におけるバイアス増幅について検討した。
このモデルは、トレーニングデータに見られる性別占有バイアスをかなり増幅しているように見える。
増幅は トレーニングキャプションと モデルプロンプトの 相違によるものです
論文 参考訳(メタデータ) (2023-08-01T18:00:08Z) - DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion
Models [85.52369122266549]
保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。
具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。
このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
論文 参考訳(メタデータ) (2023-07-06T16:27:39Z) - Discriminative Diffusion Models as Few-shot Vision and Language Learners [91.38524112662448]
本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。
本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
論文 参考訳(メタデータ) (2023-05-18T05:41:36Z) - Extracting Training Data from Diffusion Models [77.11719063152027]
拡散モデルはトレーニングデータから個々の画像を記憶し,生成時に出力することを示す。
生成とフィルタのパイプラインを用いて、最先端のモデルから数千以上のトレーニング例を抽出する。
さまざまな設定で何百もの拡散モデルをトレーニングし、モデリングとデータ決定の違いがプライバシに与える影響を分析する。
論文 参考訳(メタデータ) (2023-01-30T18:53:09Z) - Diffusion Art or Digital Forgery? Investigating Data Replication in
Diffusion Models [53.03978584040557]
生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。
フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
論文 参考訳(メタデータ) (2022-12-07T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。