論文の概要: Local Coverage Governs Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.14390v1
• Date: Fri, 12 Jun 2026 12:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.89298
• Title: Local Coverage Governs Memorization in Diffusion Models
• Title（参考訳）: 拡散モデルにおける局所被覆ゴブリンの記憶
• Authors: Claudia Merger, Sebastian Goldt,
• Abstract要約: メモリ化は、ローカルなデータカバレッジによって管理されていることを示す。 クラス内疎度が高いクラス(およびそれによる局所被覆率の低下)は,より強く記憶されている。
• 参考スコア（独自算出の注目度）: 10.085837353469737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memorization in diffusion models is often treated as a global property of the model or dataset. In practice, however, a single diffusion model can simultaneously generate both memorized and novel samples. Which training samples are most likely to be memorized? In this work, we show that memorization is governed by \emph{local data coverage}. Leveraging the connection between diffusion models and kernel density estimation (KDE), we derive a theoretical criterion that predicts whether a point is memorized based on the density of training data in its neighborhood and the size of the training dataset. In the high-dimensional limit, this leads to a sharp, local transition: regions of low coverage are dominated by isolated training samples, which are memorized, while dense regions support interpolation and generalization. We validate these predictions empirically, showing that memorization increases with local sparsity and that diffusion models exhibit a coexistence of memorized and novel samples within the same model. Extending this framework to multi-class settings, we further show that classes with higher intra-class sparsity (and thus lower local coverage) are more strongly memorized. Our results provide a local view of memorization in diffusion models, explaining when and where memorization occurs in terms of data geometry.
• Abstract（参考訳）: 拡散モデルにおける記憶は、しばしばモデルやデータセットのグローバルな性質として扱われる。 しかし実際には、単一の拡散モデルが記憶されたサンプルと新しいサンプルの両方を同時に生成することができる。 どのトレーニングサンプルが記憶される可能性が高いのか? 本研究では,メモリ化はローカルなデータカバレッジによって制御されていることを示す。 拡散モデルとカーネル密度推定(KDE)の接続を利用して、その近傍のトレーニングデータの密度とトレーニングデータセットのサイズに基づいて、ある点が記憶されているかどうかを予測する理論的基準を導出する。 高次元の限界において、これは急激で局所的な遷移をもたらす: 低範囲の領域は孤立したトレーニングサンプルによって支配され、それは記憶され、密度の高い領域は補間と一般化をサポートする。 我々はこれらの予測を実証的に検証し、局所的な疎度とともに記憶化が増加し、拡散モデルが同じモデル内で記憶された新しいサンプルの共存を示すことを示す。 このフレームワークをマルチクラス設定に拡張することで、クラス内疎度が高い(従ってローカルカバレッジが低い)クラスがより強く記憶されていることを示す。 この結果は拡散モデルにおける暗記の局所的な見方を提供し、データ幾何の観点から、いつ、どこで暗記が起こるかを説明する。

関連論文リスト

• Localizing Memorized Regions in Diffusion Models via Coordinate-Wise Curvature Differences [7.519872646378835]
  拡散モデルは、意図せずトレーニングサンプルを記憶し、プライバシと著作権に関する懸念を提起する。 局所記憶の幾何的特徴は座標方向の分散崩壊である。 我々は、広く使われているスコア差検出指標の幾何学的説明を提供するスコア差検出プロキシを導出する。
  論文  参考訳（メタデータ） (2026-05-26T09:28:43Z)
• Selective Underfitting in Diffusion Models [62.51850508420274]
  拡散モデルは,学習時間の帰納バイアスによる経験的スコアに不適合である。 スコアを至る所で不適合にする代わりに、より良い拡散モデルは入力空間の特定の領域のスコアをより正確に近似し、他の領域では不適合にする。 その結果, 拡散モデルを理解するためには選択的不適合性が不可欠であることが確認され, 一般化と生成性能に関する新たな検証可能な知見が得られた。
  論文  参考訳（メタデータ） (2025-10-01T19:06:20Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Exploring Local Memorization in Diffusion Models via Bright Ending Attention [62.979954692036685]
  テキスト・画像拡散モデルにおける「右端」(BE)異常は、トレーニング画像の記憶に起因する。 本稿では,BEを既存のフレームワークに統合する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T02:16:01Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• On Memorization in Diffusion Models [44.031805633114985]
  より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。 我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。 本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
  論文  参考訳（メタデータ） (2023-10-04T09:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。