論文の概要: Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.19042v1
• Date: Tue, 13 Oct 2026 18:31:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.745884
• Title: Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるメモリ化のためのサンプリングフリープロキシとしてのロス曲率
• Abstract要約: 拡散モデルのトレーニング損失のヘシアンのいわゆるインプット・ロス曲率(Frobenius norm)は,記憶における両視点の定量化に有効な指標であることを示す。 その結果, サンプルの局所的損失景観と生成可能性との間には, 直接的理論的関係が成立することがわかった。
• 参考スコア（独自算出の注目度）: 10.814332619424755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the mechanism behind why diffusion models memorize their training data remains an open question in generative modeling. In this paper, we examine this question from two perspectives: (a) the model-level perspective concerning the onset of memorization in a model during training, and (b) the sample-level perspective concerning the proclivity of an individual sample to be memorized by a given model. We show that the so-called input loss curvature, or the Frobenius norm of the Hessian of the diffusion model's training loss, is an effective metric for quantifying both perspectives on memorization. In particular, we empirically demonstrate that input curvatures averaged across training and validation samples can identify when a model is likely to start regurgitating its training data when tracked over training time. However, this metric is not sufficient for measuring an individual sample's likelihood of being memorized. To address this perspective, we introduce a counterfactual definition of memorization in diffusion models, extending the analogous notion from supervised learning proposed by [Feldman, 2019]. We prove that this counterfactual memorization is controlled by the input curvature of the leave-one-out model, thus establishing a direct theoretical link between a sample's local loss landscape and its generation likelihood. We validate our derived bounds through several empirical experiments and show that input-dependent curvature provides a proxy for memorization.
• Abstract（参考訳）: 拡散モデルがトレーニングデータを記憶する理由のメカニズムを理解することは、生成モデリングにおいて未解決の問題である。 本稿では,この問題を2つの観点から考察する。 (a)訓練中のモデルにおける記憶の開始に関するモデルレベルの視点、及び b) 個々のサンプルの生産性に関するサンプルレベルの視点は、所定のモデルにより記憶される。 拡散モデルのトレーニング損失のヘシアンのいわゆるインプット・ロス曲率(Frobenius norm)は,記憶における両視点の定量化に有効な指標であることを示す。 特に,モデルがトレーニング時間を通じて追跡された場合,トレーニングデータを再取得し始める可能性のある時期を,トレーニングおよび検証サンプル間で平均化された入力曲率が特定できることを実証的に示す。 しかし、この測定基準は個々のサンプルが記憶される可能性を測定するには不十分である。 この観点から,拡散モデルにおける記憶の反実的定義を導入し,[Feldman, 2019] が提案した教師付き学習から類似概念を拡張した。 その結果, サンプルの局所的損失景観と生成可能性との間には, 直接的理論的関係が成立することがわかった。 いくつかの経験的実験を通して導出した境界を検証し、入力依存曲率が記憶の代用となることを示す。

関連論文リスト

• On the Edge of Memorization in Diffusion Models [25.927892368310868]
  本稿では,実践的拡散モデルにおける記憶と一般化を研究するための科学的・数学的「実験室」を紹介する。 我々の研究は、将来の理論的および実証的な調査のために分析的に抽出可能で実用的に意味のある設定を提供する。
  論文  参考訳（メタデータ） (2025-08-25T05:56:05Z)
• Memorization to Generalization: Emergence of Diffusion Models from Associative Memory [27.677278702224687]
  AMのレンズを用いた拡散モデルにおける記憶一般化現象について検討する。 本研究は, AMsレンズを用いた拡散モデルにおける記憶一般化現象の新たな展望である。
  論文  参考訳（メタデータ） (2025-05-27T21:20:57Z)
• Redistribute Ensemble Training for Mitigating Memorization in Diffusion Models [31.92526915009259]
  拡散モデルは非常に高品質なサンプルを生成する能力で知られている。 最近のメモリ緩和法は、主にテキストモダリティの文脈における問題に対処している。 本稿では,視覚的モダリティの観点からの拡散モデルの新たな手法を提案する。
  論文  参考訳（メタデータ） (2025-02-13T15:56:44Z)
• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。