論文の概要: Demystifying Foreground-Background Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.12148v1
• Date: Sat, 16 Aug 2025 20:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.588865
• Title: Demystifying Foreground-Background Memorization in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるデミスティファイションフォアグラウンド-バックグラウンド記憶
• Authors: Jimmy Z. Di, Yiwei Lu, Yaoliang Yu, Gautam Kamath, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: 拡散モデル(DM)はトレーニング画像を記憶し、生成中にほぼ重複を再現することができる。 現在の検出法は動詞の暗記を識別するが、2つの重要な側面を捉えることができない。 生成した画像内の記憶領域を分類・定量化するセグメンテーションに基づく新しい指標であるフォアグラウンド背景記憶法(FB-Mem)を提案する。
• 参考スコア（独自算出の注目度）: 23.914702151370204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) memorize training images and can reproduce near-duplicates during generation. Current detection methods identify verbatim memorization but fail to capture two critical aspects: quantifying partial memorization occurring in small image regions, and memorization patterns beyond specific prompt-image pairs. To address these limitations, we propose Foreground Background Memorization (FB-Mem), a novel segmentation-based metric that classifies and quantifies memorized regions within generated images. Our method reveals that memorization is more pervasive than previously understood: (1) individual generations from single prompts may be linked to clusters of similar training images, revealing complex memorization patterns that extend beyond one-to-one correspondences; and (2) existing model-level mitigation methods, such as neuron deactivation and pruning, fail to eliminate local memorization, which persists particularly in foreground regions. Our work establishes an effective framework for measuring memorization in diffusion models, demonstrates the inadequacy of current mitigation approaches, and proposes a stronger mitigation method using a clustering approach.
• Abstract（参考訳）: 拡散モデル(DM)はトレーニング画像を記憶し、生成中にほぼ重複を再現することができる。 現在の検出法では,小画像領域で発生する部分記憶の定量化と,特定のプロンプトとイメージのペアを超えた記憶パターンの2つの重要な側面を捉えることができない。 これらの制約に対処するために、生成画像内の記憶領域を分類し、定量化する新しいセグメンテーションベースの計量であるフォアグラウンド背景記憶法(FB-Mem)を提案する。 本手法は,(1)単一プロンプトからの個々の世代が類似した訓練画像のクラスタに関連付けられ,1対1対応を超える複雑な記憶パターンが明らかとなり,(2)ニューロンの脱活性化やプルーニングといった既存のモデルレベルの緩和手法が,特に前景領域で持続する局所記憶の除去に失敗することを明らかにする。 本研究は,拡散モデルの記憶度を測定するための効果的な枠組みを確立し,現在の緩和手法の不十分さを実証し,クラスタリング手法を用いたより強力な緩和手法を提案する。

関連論文リスト

• A Geometric Framework for Understanding Memorization in Generative Models [11.263296715798374]
  近年の研究では、深層生成モデルにより、デプロイ時にトレーニングデータポイントを記憶・再生することが可能であることが示されている。 これらの知見は、特に暗記によって引き起こされる法的およびプライバシー上のリスクを考慮して、生成モデルのユーザビリティを疑問視する。 本稿では, 多様体の暗記仮説(MMH)を, 暗記を推論する明快な言語として活用する幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-31T18:09:01Z)
• Exploring Local Memorization in Diffusion Models via Bright Ending Attention [62.979954692036685]
  テキスト・画像拡散モデルにおける「右端」(BE)異常は、トレーニング画像の記憶に起因する。 本稿では,BEを既存のフレームワークに統合する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T02:16:01Z)
• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。