論文の概要: Memory Triggers: Unveiling Memorization in Text-To-Image Generative Models through Word-Level Duplication

• arxiv url: http://arxiv.org/abs/2312.03692v1
• Date: Wed, 6 Dec 2023 18:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 13:48:15.815956
• Title: Memory Triggers: Unveiling Memorization in Text-To-Image Generative Models through Word-Level Duplication
• Title（参考訳）: メモリトリガー:単語レベルの重複によるテキストから画像への生成モデルの記憶
• Authors: Ali Naseh, Jaechul Roh, Amir Houmansadr
• Abstract要約: 拡散ベースのモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。 これらのモデルはまた、正確なトレーニングサンプルを複製し、プライバシーリスクを装い、敵の攻撃を可能にする傾向があることを懸念している。 本稿では拡散モデルにおける推論中に複製を引き起こす2つの異なる重複と未探索の重複に焦点を当てる。
• 参考スコア（独自算出の注目度）: 16.447035745151428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based models, such as the Stable Diffusion model, have revolutionized text-to-image synthesis with their ability to produce high-quality, high-resolution images. These advancements have prompted significant progress in image generation and editing tasks. However, these models also raise concerns due to their tendency to memorize and potentially replicate exact training samples, posing privacy risks and enabling adversarial attacks. Duplication in training datasets is recognized as a major factor contributing to memorization, and various forms of memorization have been studied so far. This paper focuses on two distinct and underexplored types of duplication that lead to replication during inference in diffusion-based models, particularly in the Stable Diffusion model. We delve into these lesser-studied duplication phenomena and their implications through two case studies, aiming to contribute to the safer and more responsible use of generative models in various applications.
• Abstract（参考訳）: 安定拡散モデルのような拡散に基づくモデルは、高品質で高解像度の画像を生成する能力によって、テキストと画像の合成に革命をもたらした。 これらの進歩は画像生成と編集タスクに大きな進歩をもたらした。 しかし、これらのモデルは、正確なトレーニングサンプルを記憶し、複製する傾向があり、プライバシーのリスクを装い、敵の攻撃を可能にするため、懸念も高める。 トレーニングデータセットの複製は記憶に寄与する主要な要因として認識され、様々な形態の記憶が研究されている。 本稿では, 拡散に基づくモデル, 特に安定拡散モデルにおいて, 推論中に複製につながる2つの異なる, 未熟な重複に着目する。 様々な応用において、より安全でより責任のある生成モデルの利用に寄与することを目的として、2つのケーススタディを通じて、より研究の少ない重複現象とその影響を考察した。

関連論文リスト

• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Frame by Familiar Frame: Understanding Replication in Video Diffusion Models [28.360705633967353]
  ビデオ生成は、その高次元の性質、トレーニングデータの不足、そして関連する複雑な関係により、より大きな課題をもたらす。 さらに制約のあるデータセットで動作するビデオ拡散モデルは、トレーニングセットからサンプルを複製する傾向にある。 本稿では,ビデオ拡散モデルにおけるサンプル複製現象の系統的研究を行う。
  論文  参考訳（メタデータ） (2024-03-28T17:15:23Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• Mitigate Replication and Copying in Diffusion Models with Generalized Caption and Dual Fusion Enhancement [7.9911486976035215]
  本稿では,キャプションの一般性を測定し,大言語モデル(LLM)を用いてトレーニングキャプションを一般化する一般化スコアを提案する。 一般化キャプションを活用し,拡散モデルの複製を緩和する新しい二重核融合拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-09-13T18:43:13Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [53.03978584040557]
  生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。 フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
  論文  参考訳（メタデータ） (2022-12-07T18:58:02Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。