論文の概要: Diffusion Models Generalize but Not in the Way You Might Think

• arxiv url: http://arxiv.org/abs/2603.13419v1
• Date: Thu, 12 Mar 2026 21:02:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.183508
• Title: Diffusion Models Generalize but Not in the Way You Might Think
• Title（参考訳）: 拡散モデルは一般化するが、考える方法ではない
• Authors: Tim Kaiser, Markus Kollmann,
• Abstract要約: トレーニング時間の増加に伴うトレーニングセットの記憶量の増加は十分に大きいが,結果として生じる認知軌道は,この傾向に従わないことを示す。 本研究では,中間雑音レベルにおける過適合がモデル誤差とデータ支持密度によって大きく決定されることを示すために,2次元玩具拡散モデルを用いている。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard evaluation metrics suggest that Denoising Diffusion Models based on U-Net or Transformer architectures generalize well in practice. However, as it can be shown that an optimal Diffusion Model fully memorizes the training data, the model error determines generalization. Here, we show that although sufficiently large denoiser models show increasing memorization of the training set with increasing training time, the resulting denoising trajectories do not follow this trend. Our experiments indicate that the reason for this observation is rooted in the fact that overfitting occurs at intermediate noise levels, but the distribution of noisy training data at these noise levels has little overlap with denoising trajectories during inference. To gain more insight, we make use of a 2D toy diffusion model to show that overfitting at intermediate noise levels is largely determined by model error and the density of the data support. While the optimal denoising flow field localizes sharply around training samples, sufficient model error or dense support on the data manifold suppresses exact recall, yielding a smooth, generalizing flow field. To further support our results, we investigate how several factors, such as training time, model size, dataset size, condition granularity, and diffusion guidance, influence generalization behavior.
• Abstract（参考訳）: 標準評価基準は,U-NetアーキテクチャやTransformerアーキテクチャに基づく拡散モデルの一般化を実証している。 しかし、最適拡散モデルがトレーニングデータを完全記憶していることが示されるように、モデル誤差は一般化を決定する。 ここでは,トレーニング時間の増加に伴うトレーニングセットの記憶の増大を示す十分大きなデノイザモデルを示すが,結果として生じるデノイザの軌道は,この傾向に従わないことを示す。 本実験は, 中間雑音レベルにおいて過度に収差が生じることの理由を示唆するものであるが, 騒音レベルにおける騒音訓練データの分布は, 推定時の騒音軌跡とほとんど重複しない。 さらに,2次元の玩具拡散モデルを用いて,中間雑音レベルの過度適合がモデル誤差とデータ支持密度によって決定されることを示す。 最適なデノナイジングフロー場はトレーニングサンプルの周囲で急激な局所化を行うが、十分なモデル誤差やデータ多様体の密なサポートは正確なリコールを抑制し、スムーズで一般化されたフロー場をもたらす。 本研究では,学習時間,モデルサイズ,データセットサイズ,条件粒度,拡散誘導,一般化行動への影響などの要因について検討する。

関連論文リスト

• Diffusion models under low-noise regime [3.729242965449096]
  拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。 トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。 この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
  論文  参考訳（メタデータ） (2025-06-09T15:07:16Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
  学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。 拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
  論文  参考訳（メタデータ） (2024-10-31T15:57:04Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。