論文の概要: Recursively Trained Diffusion Models: Limiting Collapse Distribution and Spectral Characterization

• arxiv url: http://arxiv.org/abs/2606.13796v1
• Date: Thu, 11 Jun 2026 18:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.563941
• Title: Recursively Trained Diffusion Models: Limiting Collapse Distribution and Spectral Characterization
• Title（参考訳）: 繰り返し訓練された拡散モデル:限界崩壊分布とスペクトル特性
• Authors: Naïl B. Khelifa, Richard E. Turner, Ramji Venkataramanan,
• Abstract要約: 生成モデルの再帰的トレーニングは、真のデータ分布から複合的なドリフトであるモデル崩壊を引き起こす可能性がある。 完全なスコア推定と正確なサンプリングを行っても,逆拡散の早期停止はデータ分布から進行的なドリフトを引き起こすことを示す。 低次よりも高速に高次誤差を収縮するモード依存の収縮速度で、理想的な特徴付けが堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 27.894241484593735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive training of generative models on their own outputs can lead to model collapse, a compounding drift away from the true data distribution. Existing theoretical works bound finite-round error accumulation in the context of diffusion models, but two questions remain open:~what distribution does the recursion converge to, and how fast? We answer both, isolating a mechanism distinct from imperfect learning: even with perfect score estimation and exact sampling, the early stopping of the reverse diffusion (required for numerical stability) drives a progressive drift away from the data distribution. We prove that this recursion converges geometrically to a unique limiting distribution, which admits a closed-form characterization as an infinite mixture of increasingly Gaussian-smoothed versions of the data distribution. A Hermite spectral decomposition of this limit reveals that recursive training acts as a low-pass filter: higher-order modes, which encode fine non-Gaussian structure, are attenuated much more strongly than coarse modes. This spectral picture motivates annealed truncation schedules that progressively shrink truncation times across retraining rounds; we prove that any schedule converging to $0$ asymptotically eliminates recursive compounding. Finally, we show our idealized characterization is robust: in the presence of discretization and score estimation errors, the learned distribution remains in a Wasserstein-2 ball around the ideal limit, with mode-dependent contraction rates that contract high-order errors faster than low-order ones. We validate the theory on synthetic Gaussian mixtures and CIFAR-10.
• Abstract（参考訳）: 生成モデルの自己出力に対する再帰的なトレーニングは、真のデータ分布から遠ざかる複合的なモデル崩壊につながる可能性がある。 既存の理論的な研究は拡散モデルの文脈において有限周誤差の蓄積に結びついているが、2つの疑問は未解決のままである。 完全なスコア推定と正確なサンプリングであっても、逆拡散の早期停止(数値安定性が要求される)は、データ分布から進歩的なドリフトを逸脱させる。 この再帰は幾何的に一意的な極限分布に収束し、これはガウス・スムーズなデータ分布の無限混合として閉形式の特徴を持つ。 この極限のエルミートスペクトル分解は、再帰的トレーニングが低パスフィルタとして機能することを明らかにする: 微細な非ガウス構造を符号化する高次モードは粗いモードよりもはるかに強く減衰される。 このスペクトル画像は, 再学習ラウンド間の乱れ時間を段階的に短縮するアニールトランカチオンスケジュールを動機付け, 漸近的に0ドルに収束するスケジュールは再帰的複合化を排除していることを示す。 離散化や評価誤差の存在下では、学習された分布は理想極限付近のワッサーシュタイン-2ボールに残っており、低次よりも高速に高次誤差を収縮するモード依存収縮速度を持つ。 我々は合成ガウス混合とCIFAR-10の理論を検証した。

関連論文リスト

• Geometry-Aware Discretization Error of Diffusion Models [24.297736470921915]
  固定された推論予算の下では、限られた数のdenoisingステップだけを使用して、リバースタイムODEまたはSDEをシミュレートする必要がある。 既存の非漸近解析は収束保証を提供するが、一般的には拡散パラメータに敏感すぎるため、実用的な設計を導くことができない。 オイラー・丸山弱度とフレシェの離散化誤差の1次展開を導出する。
  論文  参考訳（メタデータ） (2026-05-08T19:02:21Z)
• Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences [13.835275211048113]
  生成モデルの再帰的再訓練は、重要な表現問題を引き起こす。 複数の報酬関数に基づいたキュレーションにより崩壊を緩和できることを示す。
  論文  参考訳（メタデータ） (2026-05-08T13:27:23Z)
• Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
  連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。 一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。 離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
  論文  参考訳（メタデータ） (2026-02-16T18:48:17Z)
• Dimension-free error estimate for diffusion model and optimal scheduling [22.20348860913421]
  拡散生成モデルは、経験的に観察された分布から合成データを生成するための強力なツールとして登場した。 従来の分析では、生成したデータと真のデータ分布の誤差を、ワッサーシュタイン距離やクルバック・リーバーの偏差の観点から定量化していた。 本研究では, 生成したデータ分布と真のデータ分布との相違点に有意な次元自由境界を導出する。
  論文  参考訳（メタデータ） (2025-12-01T15:58:20Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Gradual Domain Adaptation via Manifold-Constrained Distributionally Robust Optimization [0.4732176352681218]
  本稿では、多様体制約データ分布のクラスにおける段階的領域適応の課題に対処する。 本稿では,適応的なワッサースタイン半径を持つ分布ロバスト最適化(DRO)を基礎とした手法を提案する。 我々のバウンダリは、新たに導入されたそれとの互換性尺度に依存しており、シーケンスに沿ったエラー伝搬のダイナミクスを完全に特徴付けています。
  論文  参考訳（メタデータ） (2024-10-17T22:07:25Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。