論文の概要: Understanding diffusion models requires rethinking (again) generalization
- arxiv url: http://arxiv.org/abs/2605.06077v1
- Date: Thu, 07 May 2026 12:00:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.744311
- Title: Understanding diffusion models requires rethinking (again) generalization
- Title（参考訳）: 拡散モデルを理解するには、再考(再び)一般化が必要である
- Authors: Pierre Marion, Yu-Han Wu,
- Abstract要約: 拡散モデルでは、教師あり学習とは異なり、トレーニングデータの記憶と新しいサンプルへの一般化は相容れない。
拡散モデルがなぜ記憶しないのかを説明することから、そのモデルが記憶前フェーズで実際に何を学ぶのかを研究すべきである。
- 参考スコア（独自算出の注目度）: 12.724875526837925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This position paper argues that understanding generalization in diffusion models requires fundamentally new theoretical frameworks that go beyond both classical statistical learning theory and the benign overfitting paradigm developed for supervised learning. In diffusion models, unlike in supervised learning, memorization of training data and generalization to novel samples are incompatible: a model that has fully memorized its training set generates copies rather than novel data. Several theoretical explanations for why practical diffusion models nevertheless generalize have been proposed, based on capacity limitations, implicit regularization from optimization, or architectural inductive biases, but their interactions remain unclear. We argue that the field should pivot from explaining why the diffusion models do not memorize to investigating what the model actually learns during pre-memorization phase. To highlight our stance, we conduct empirical study of diffusion models trained on CIFAR-10, and we distill the findings into concrete open questions that we believe are key to improve understanding of generalization in diffusion models.
- Abstract（参考訳）: 拡散モデルにおける一般化を理解するには、古典的な統計的学習理論と教師付き学習のために開発された良質な過剰適合パラダイムの両方を超える、根本的に新しい理論的枠組みが必要であると論じる。
拡散モデルでは、教師付き学習とは異なり、トレーニングデータの記憶と新しいサンプルへの一般化は相容れない。
実用拡散モデルがなぜ一般化されたのかについては、キャパシティ制限、最適化からの暗黙の正則化、あるいはアーキテクチャ的帰納バイアスに基づくいくつかの理論的説明があるが、それらの相互作用はいまだに不明である。
拡散モデルがなぜ記憶しないのかを説明することから、そのモデルが記憶前フェーズで実際に何を学ぶのかを研究すべきである。
我々は,CIFAR-10で訓練した拡散モデルについて実証的研究を行い,拡散モデルにおける一般化の理解を深める鍵を握る,具体的なオープンな疑問に抽出する。
関連論文リスト
- On the Edge of Memorization in Diffusion Models [25.927892368310868]
本稿では,実践的拡散モデルにおける記憶と一般化を研究するための科学的・数学的「実験室」を紹介する。
我々の研究は、将来の理論的および実証的な調査のために分析的に抽出可能で実用的に意味のある設定を提供する。
論文 参考訳（メタデータ） (2025-08-25T05:56:05Z) - Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access [47.96419637803502]
拡散モデルを解析し、$widetildemathcalO(epsilon-4)$に束縛された最先端のサンプル複雑性を提供する。
スコア推定誤差の統計的および最適化成分への構造化分解は、拡散モデルを効率的に訓練する方法に関する重要な洞察を与える。
論文 参考訳（メタデータ） (2025-05-23T20:02:15Z) - Deeper Diffusion Models Amplify Bias [54.8794775172033]
本稿では,拡散モデルにおけるバイアス分散トレードオフの概念について考察する。
1つの極端な場合、拡散モデルはトレーニングデータの固有のバイアスを増幅し、もう1つの場合、トレーニングサンプルの想定されるプライバシーを損なう可能性がある。
論文 参考訳（メタデータ） (2025-05-23T07:08:09Z) - Consistent World Models via Foresight Diffusion [56.45012929930605]
我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。
本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
論文 参考訳（メタデータ） (2025-05-22T10:01:59Z) - An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。
経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。
本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
論文 参考訳（メタデータ） (2024-04-11T14:07:25Z) - Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。
経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。
本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
論文 参考訳（メタデータ） (2024-03-18T17:08:24Z) - On the Generalization Properties of Diffusion Models [31.067038651873126]
この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。
我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。
我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
論文 参考訳（メタデータ） (2023-11-03T09:20:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。