論文の概要: Diffusion Models Generalize but Not in the Way You Might Think

• arxiv url: http://arxiv.org/abs/2603.13419v1
• Date: Thu, 12 Mar 2026 21:02:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.183508
• Title: Diffusion Models Generalize but Not in the Way You Might Think
• Title（参考訳）: 拡散モデルは一般化するが、考える方法ではない
• Abstract要約: トレーニング時間の増加に伴うトレーニングセットの記憶量の増加は十分に大きいが,結果として生じる認知軌道は,この傾向に従わないことを示す。 本研究では,中間雑音レベルにおける過適合がモデル誤差とデータ支持密度によって大きく決定されることを示すために,2次元玩具拡散モデルを用いている。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard evaluation metrics suggest that Denoising Diffusion Models based on U-Net or Transformer architectures generalize well in practice. However, as it can be shown that an optimal Diffusion Model fully memorizes the training data, the model error determines generalization. Here, we show that although sufficiently large denoiser models show increasing memorization of the training set with increasing training time, the resulting denoising trajectories do not follow this trend. Our experiments indicate that the reason for this observation is rooted in the fact that overfitting occurs at intermediate noise levels, but the distribution of noisy training data at these noise levels has little overlap with denoising trajectories during inference. To gain more insight, we make use of a 2D toy diffusion model to show that overfitting at intermediate noise levels is largely determined by model error and the density of the data support. While the optimal denoising flow field localizes sharply around training samples, sufficient model error or dense support on the data manifold suppresses exact recall, yielding a smooth, generalizing flow field. To further support our results, we investigate how several factors, such as training time, model size, dataset size, condition granularity, and diffusion guidance, influence generalization behavior.
• Abstract（参考訳）: 標準評価基準は,U-NetアーキテクチャやTransformerアーキテクチャに基づく拡散モデルの一般化を実証している。 しかし、最適拡散モデルがトレーニングデータを完全記憶していることが示されるように、モデル誤差は一般化を決定する。 ここでは,トレーニング時間の増加に伴うトレーニングセットの記憶の増大を示す十分大きなデノイザモデルを示すが,結果として生じるデノイザの軌道は,この傾向に従わないことを示す。 本実験は, 中間雑音レベルにおいて過度に収差が生じることの理由を示唆するものであるが, 騒音レベルにおける騒音訓練データの分布は, 推定時の騒音軌跡とほとんど重複しない。 さらに,2次元の玩具拡散モデルを用いて,中間雑音レベルの過度適合がモデル誤差とデータ支持密度によって決定されることを示す。 最適なデノナイジングフロー場はトレーニングサンプルの周囲で急激な局所化を行うが、十分なモデル誤差やデータ多様体の密なサポートは正確なリコールを抑制し、スムーズで一般化されたフロー場をもたらす。 本研究では,学習時間,モデルサイズ,データセットサイズ,条件粒度,拡散誘導,一般化行動への影響などの要因について検討する。

関連論文リスト

• Transformers Learn the Optimal DDPM Denoiser for Multi-Token GMMs [13.741630476895773]
  本稿では,変圧器を用いた拡散モデルのトレーニングのための最初の収束解析を行う。 人口の拡散確率モデル (DDPM) の目的を, 人口の分散確率モデル (DDPM) とみなす。 より深い調査により、トレーニングされた平均偏極モジュールは、拡散ステップにおける注入音の最小値平均正方形誤差(MMSE)を近似することができることが明らかになった。
  論文  参考訳（メタデータ） (2026-04-11T07:46:15Z)
• Is Your Conditional Diffusion Model Actually Denoising? [35.496429577832416]
  条件付き変数を持つ拡散モデルの誘導バイアスについて検討する。 理想化された復調プロセスからの逸脱は、モデル容量やトレーニングデータの量に関係なく発生することを実証する。
  論文  参考訳（メタデータ） (2025-12-21T13:54:27Z)
• Diffusion models under low-noise regime [3.729242965449096]
  拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。 トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。 この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
  論文  参考訳（メタデータ） (2025-06-09T15:07:16Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。