論文の概要: Local Coverage Governs Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.14390v1
• Date: Fri, 12 Jun 2026 12:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.89298
• Title: Local Coverage Governs Memorization in Diffusion Models
• Title（参考訳）: 拡散モデルにおける局所被覆ゴブリンの記憶
• Abstract要約: メモリ化は、ローカルなデータカバレッジによって管理されていることを示す。 クラス内疎度が高いクラス(およびそれによる局所被覆率の低下)は,より強く記憶されている。
• 参考スコア（独自算出の注目度）: 10.085837353469737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memorization in diffusion models is often treated as a global property of the model or dataset. In practice, however, a single diffusion model can simultaneously generate both memorized and novel samples. Which training samples are most likely to be memorized? In this work, we show that memorization is governed by \emph{local data coverage}. Leveraging the connection between diffusion models and kernel density estimation (KDE), we derive a theoretical criterion that predicts whether a point is memorized based on the density of training data in its neighborhood and the size of the training dataset. In the high-dimensional limit, this leads to a sharp, local transition: regions of low coverage are dominated by isolated training samples, which are memorized, while dense regions support interpolation and generalization. We validate these predictions empirically, showing that memorization increases with local sparsity and that diffusion models exhibit a coexistence of memorized and novel samples within the same model. Extending this framework to multi-class settings, we further show that classes with higher intra-class sparsity (and thus lower local coverage) are more strongly memorized. Our results provide a local view of memorization in diffusion models, explaining when and where memorization occurs in terms of data geometry.
• Abstract（参考訳）: 拡散モデルにおける記憶は、しばしばモデルやデータセットのグローバルな性質として扱われる。 しかし実際には、単一の拡散モデルが記憶されたサンプルと新しいサンプルの両方を同時に生成することができる。 どのトレーニングサンプルが記憶される可能性が高いのか? 本研究では,メモリ化はローカルなデータカバレッジによって制御されていることを示す。 拡散モデルとカーネル密度推定(KDE)の接続を利用して、その近傍のトレーニングデータの密度とトレーニングデータセットのサイズに基づいて、ある点が記憶されているかどうかを予測する理論的基準を導出する。 高次元の限界において、これは急激で局所的な遷移をもたらす: 低範囲の領域は孤立したトレーニングサンプルによって支配され、それは記憶され、密度の高い領域は補間と一般化をサポートする。 我々はこれらの予測を実証的に検証し、局所的な疎度とともに記憶化が増加し、拡散モデルが同じモデル内で記憶された新しいサンプルの共存を示すことを示す。 このフレームワークをマルチクラス設定に拡張することで、クラス内疎度が高い(従ってローカルカバレッジが低い)クラスがより強く記憶されていることを示す。 この結果は拡散モデルにおける暗記の局所的な見方を提供し、データ幾何の観点から、いつ、どこで暗記が起こるかを説明する。

関連論文リスト

• An exact information theory of generalization phase transitions in Bayesian diffusion models [11.82439668395711]
  拡散モデルが次元の呪いを回避し、それを記憶する代わりに、有限のトレーニングセットから高次元空間を学習する方法を示す。 BIRDモデルの時間-逆拡散は、過去のトレーニングサンプルが現在の制限された観測結果を生成するかを推定することによって行われる。 空間的局所的BIRDモデルと早期学習拡散モデルの両方が記憶・一般化位相境界を追跡する。
  論文  参考訳（メタデータ） (2026-07-09T01:33:11Z)
• Localizing Memorized Regions in Diffusion Models via Coordinate-Wise Curvature Differences [7.519872646378835]
  拡散モデルは、意図せずトレーニングサンプルを記憶し、プライバシと著作権に関する懸念を提起する。 局所記憶の幾何的特徴は座標方向の分散崩壊である。 我々は、広く使われているスコア差検出指標の幾何学的説明を提供するスコア差検出プロキシを導出する。
  論文  参考訳（メタデータ） (2026-05-26T09:28:43Z)
• Selective Underfitting in Diffusion Models [62.51850508420274]
  拡散モデルは,学習時間の帰納バイアスによる経験的スコアに不適合である。 スコアを至る所で不適合にする代わりに、より良い拡散モデルは入力空間の特定の領域のスコアをより正確に近似し、他の領域では不適合にする。 その結果, 拡散モデルを理解するためには選択的不適合性が不可欠であることが確認され, 一般化と生成性能に関する新たな検証可能な知見が得られた。
  論文  参考訳（メタデータ） (2025-10-01T19:06:20Z)
• On the Edge of Memorization in Diffusion Models [25.927892368310868]
  本稿では,実践的拡散モデルにおける記憶と一般化を研究するための科学的・数学的「実験室」を紹介する。 我々の研究は、将来の理論的および実証的な調査のために分析的に抽出可能で実用的に意味のある設定を提供する。
  論文  参考訳（メタデータ） (2025-08-25T05:56:05Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Exploring Local Memorization in Diffusion Models via Bright Ending Attention [62.979954692036685]
  テキスト・画像拡散モデルにおける「右端」(BE)異常は、トレーニング画像の記憶に起因する。 本稿では,BEを既存のフレームワークに統合する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T02:16:01Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• On Memorization in Diffusion Models [44.031805633114985]
  より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。 我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。 本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
  論文  参考訳（メタデータ） (2023-10-04T09:04:20Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。