論文の概要: Finding Dori: Memorization in Text-to-Image Diffusion Models Is Less Local Than Assumed

• arxiv url: http://arxiv.org/abs/2507.16880v1
• Date: Tue, 22 Jul 2025 15:02:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.714742
• Title: Finding Dori: Memorization in Text-to-Image Diffusion Models Is Less Local Than Assumed
• Title（参考訳）: ドリの発見:テキストと画像の拡散モデルにおける記憶は、想定よりも局所的ではない
• Authors: Antoni Kowalczuk, Dominik Hintersdorf, Lukas Struppek, Kristian Kersting, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: データプライバシと知的財産権に関する懸念は、トレーニングデータを必然的に複製する可能性があるため、依然として残っている。 近年の緩和努力は、複製を誘発する原因となる重量を特定して刈り取ることに重点を置いている。 プルーニング後も、入力プロンプトのテキスト埋め込みに対する微調整は、データ複製を再トリガーするのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 26.985672667560717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image diffusion models (DMs) have achieved remarkable success in image generation. However, concerns about data privacy and intellectual property remain due to their potential to inadvertently memorize and replicate training data. Recent mitigation efforts have focused on identifying and pruning weights responsible for triggering replication, based on the assumption that memorization can be localized. Our research assesses the robustness of these pruning-based approaches. We demonstrate that even after pruning, minor adjustments to text embeddings of input prompts are sufficient to re-trigger data replication, highlighting the fragility of these defenses. Furthermore, we challenge the fundamental assumption of memorization locality, by showing that replication can be triggered from diverse locations within the text embedding space, and follows different paths in the model. Our findings indicate that existing mitigation strategies are insufficient and underscore the need for methods that truly remove memorized content, rather than attempting to suppress its retrieval. As a first step in this direction, we introduce a novel adversarial fine-tuning method that iteratively searches for replication triggers and updates the model to increase robustness. Through our research, we provide fresh insights into the nature of memorization in text-to-image DMs and a foundation for building more trustworthy and compliant generative AI.
• Abstract（参考訳）: テキスト・ツー・イメージ拡散モデル(DM)は画像生成において顕著な成功を収めた。 しかし、データプライバシと知的財産権に関する懸念は、トレーニングデータを不注意に記憶し複製する可能性があるため、依然として残っている。 近年の緩和努力は、記憶が局所化できるという仮定に基づいて、複製を誘発する原因となる重みの同定と解析に重点を置いている。 本研究は,これらのプルーニングに基づくアプローチの堅牢性を評価する。 プルーニング後も、入力プロンプトのテキスト埋め込みに対する微調整は、データ複製を再トリガーするのに十分であり、これらの防御の脆弱さを浮き彫りにする。 さらに、テキスト埋め込み空間内の様々な場所から複製を誘発し、モデル内の異なる経路を辿ることによって、記憶局所性の基本的な仮定に挑戦する。 本研究は,既存の緩和策が不十分であることを示すとともに,その検索を抑えようとするのではなく,本当に記憶されたコンテンツを除去する手法の必要性を浮き彫りにしている。 この方向への第一歩として、複製トリガを反復的に検索し、ロバスト性を高めるためにモデルを更新する、新しい逆微調整法を導入する。 我々の研究を通じて、テキストから画像へのDMにおける記憶の性質に関する新たな洞察と、より信頼性が高くコンプライアンスのよい生成AIを構築するための基盤を提供する。

関連論文リスト

• CopyJudge: Automated Copyright Infringement Identification and Mitigation in Text-to-Image Diffusion Models [58.58208005178676]
  我々は,新しい自動侵害識別フレームワークであるCopyJudgeを提案する。 我々は, 抽象フィルタ比較テストフレームワークを用いて, 侵害の可能性を評価する。 インフレクションを自動最適化する汎用LVLM方式の緩和戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-21T08:09:07Z)
• LoyalDiffusion: A Diffusion Model Guarding Against Data Replication [6.818344768093927]
  拡散モデルは、特にトレーニングデータが機密情報を含む場合、トレーニングデータを複製することができる。 画像品質に欠かせない接続に情報転送ブロックを組み込んだ複製対応U-Netアーキテクチャを提案する。 実験により、LoyalDiffusionは、画像の品質を維持しながら48.63%の複製を減少させる、最先端の複製緩和法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-02T04:41:30Z)
• Exploring Local Memorization in Diffusion Models via Bright Ending Attention [62.979954692036685]
  テキスト・画像拡散モデルにおける「右端」(BE)異常は、トレーニング画像の記憶に起因する。 本稿では,BEを既存のフレームワークに統合する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T02:16:01Z)
• Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
  そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。 提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。 検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
  論文  参考訳（メタデータ） (2024-07-31T16:13:29Z)
• Embedding Space Selection for Detecting Memorization and Fingerprinting in Generative Models [45.83830252441126]
  GAN(Generative Adversarial Networks)と拡散モデル(Diffusion Models)は画期的な技術となり、芸術創造から医療まで様々な分野のイノベーションを推進してきた。 それらの可能性にもかかわらず、これらのモデルはデータ記憶の重大な課題に直面し、プライバシと生成されたコンテンツの完全性にリスクをもたらす。 エンコーダ層埋め込みから算出した暗記スコアについて検討し, 埋め込み空間内の試料間距離を計測する。
  論文  参考訳（メタデータ） (2024-07-30T19:52:49Z)
• Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
  拡散モデルは、新規で高品質なサンプルを生成できることで知られている。 最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。 本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-22T02:19:30Z)
• EnTruth: Enhancing the Traceability of Unauthorized Dataset Usage in Text-to-image Diffusion Models with Minimal and Robust Alterations [73.94175015918059]
  本稿では、未承認のデータセット使用のトレーサビリティを高める新しいアプローチであるEnTruthを紹介する。 テンプレートの暗記を戦略的に取り入れることで、EnTruthは不正なモデルの特定の振る舞いを侵害の証拠として引き起こすことができる。 本手法は, 暗記の正当性を調査し, 著作権保護に利用し, 呪いを祝福する最初の方法である。
  論文  参考訳（メタデータ） (2024-06-20T02:02:44Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。