論文の概要: On the Edge of Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.17689v1
• Date: Mon, 25 Aug 2025 05:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.650646
• Title: On the Edge of Memorization in Diffusion Models
• Title（参考訳）: 拡散モデルにおける記憶の端について
• Authors: Sam Buchanan, Druv Pai, Yi Ma, Valentin De Bortoli,
• Abstract要約: 本稿では,実践的拡散モデルにおける記憶と一般化を研究するための科学的・数学的「実験室」を紹介する。 我々の研究は、将来の理論的および実証的な調査のために分析的に抽出可能で実用的に意味のある設定を提供する。
• 参考スコア（独自算出の注目度）: 25.927892368310868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When do diffusion models reproduce their training data, and when are they able to generate samples beyond it? A practically relevant theoretical understanding of this interplay between memorization and generalization may significantly impact real-world deployments of diffusion models with respect to issues such as copyright infringement and data privacy. In this work, to disentangle the different factors that influence memorization and generalization in practical diffusion models, we introduce a scientific and mathematical "laboratory" for investigating these phenomena in diffusion models trained on fully synthetic or natural image-like structured data. Within this setting, we hypothesize that the memorization or generalization behavior of an underparameterized trained model is determined by the difference in training loss between an associated memorizing model and a generalizing model. To probe this hypothesis, we theoretically characterize a crossover point wherein the weighted training loss of a fully generalizing model becomes greater than that of an underparameterized memorizing model at a critical value of model (under)parameterization. We then demonstrate via carefully-designed experiments that the location of this crossover predicts a phase transition in diffusion models trained via gradient descent, validating our hypothesis. Ultimately, our theory enables us to analytically predict the model size at which memorization becomes predominant. Our work provides an analytically tractable and practically meaningful setting for future theoretical and empirical investigations. Code for our experiments is available at https://github.com/DruvPai/diffusion_mem_gen.
• Abstract（参考訳）: 拡散モデルはトレーニングデータをいつ再生し、それを超えるサンプルを生成することができるのか? 記憶と一般化の間のこの相互作用に関する理論的解釈は、著作権侵害やデータのプライバシーといった問題に関して、拡散モデルの現実的な展開に大きな影響を及ぼす可能性がある。 本研究では, 実測的拡散モデルにおける記憶と一般化に影響を与える様々な要因を解消するために, 完全合成あるいは自然画像的構造化データに基づいて訓練された拡散モデルにおいて, これらの現象を研究する科学的・数学的「実験室」を導入する。 この設定において、パラメータ化トレーニングモデルの記憶あるいは一般化の挙動は、関連する記憶モデルと一般化モデルとのトレーニング損失の差によって決定される。 この仮説を理論的に検証するために、完全に一般化されたモデルの重み付けされたトレーニング損失が、モデル(下)パラメータ化の臨界値における過度なパラメータ化モデルよりも大きいという交差点を特徴づける。 そして、慎重に設計された実験を通して、この交叉の位置が勾配降下によって訓練された拡散モデルの相転移を予測し、仮説を検証する。 最終的に、我々の理論は記憶が支配的なモデルサイズを解析的に予測することができる。 我々の研究は、将来の理論的および実証的な調査のために分析的に抽出可能で実用的に意味のある設定を提供する。 実験のコードはhttps://github.com/DruvPai/diffusion_mem_gen.comで公開されている。

関連論文リスト

• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• On the Generalization Properties of Diffusion Models [31.067038651873126]
  この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。 我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。 我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
  論文  参考訳（メタデータ） (2023-11-03T09:20:20Z)
• On Memorization in Diffusion Models [44.031805633114985]
  より小さなデータセットでは記憶の挙動が生じる傾向があることを示す。 我々は、有効モデル記憶(EMM)の観点から、影響因子がこれらの記憶行動に与える影響を定量化する。 本研究は,拡散モデル利用者にとって実用的意義を持ち,深部生成モデルの理論研究の手がかりを提供する。
  論文  参考訳（メタデータ） (2023-10-04T09:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。