論文の概要: Model Collapse Is Avoidable Even as Real Data Vanishes: A Sharp Criterion for Iterative Gaussian Estimation

• arxiv url: http://arxiv.org/abs/2611.00259v1
• Date: Fri, 30 Oct 2026 18:39:14 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:12:27.758078
• Title: Model Collapse Is Avoidable Even as Real Data Vanishes: A Sharp Criterion for Iterative Gaussian Estimation
• Title（参考訳）: モデル崩壊は現実のデータが消えても避けられる: 反復ガウス推定のシャープ基準
• Abstract要約: 大規模な生成モデルは、オープンウェブから収集されたデータに基づいて訓練される。 既存の理論では、これは生成されたデータとは独立して、各イテレーションで新しい実データを利用可能にすることで実現されている。 トレーニング中に実際のデータと生成されたデータが異なる処理を行わない、より現実的なセットアップを考えることで、このギャップを埋める。
• 参考スコア（独自算出の注目度）: 15.03974529275767
• License:
• Abstract: Large generative models are commonly trained on data collected from the open web, which may contain data produced by previous generations of the same model. Previous work has shown that recursively training on model-generated data can progressively degrade model performance, a phenomenon known as model collapse. Yet, generative models continue to improve dramatically over time. Existing theory suggests that this is enabled by the availability of new real data at each iteration, kept separate from generated data. However, exact separation is not realistic, and uncurated data is still commonly used. We bridge this gap by considering a more realistic setup in which real and generated data are not handled differently during training. Specifically, we present a comprehensive theoretical study of iterative estimation of the mean and covariance of a multivariate Gaussian distribution. At each iteration, samples are drawn from a mixture of the real data distribution and the estimated distribution from the previous iteration, but are used indistinguishably. We provide a single equivalent condition for consistency of the mean and covariance estimators in Euclidean norms, and convergence to zero of the expected squared 2-Wasserstein distance between the estimated and true distributions. Using this result, we show that consistency holds, i.e., model collapse is avoided, for any fixed real data fraction above zero, and even for a fraction that vanishes across iterations, provided it does not vanish too quickly. However, more real data (or data curation) remains important at practical finite times: the convergence rate of the mean estimator deteriorates as the real data fraction approaches zero. We support our results with an empirical investigation of the theoretical setup, and with experiments on iterative training of a diffusion model on CIFAR-10 that correlate with our theory.
• Abstract（参考訳）: 大規模な生成モデルは、オープンウェブから収集されたデータに基づいて訓練される。 これまでの研究によると、モデル生成データに対する再帰的なトレーニングは、モデル崩壊と呼ばれる現象である、段階的にモデル性能を低下させる可能性がある。 しかし、生成モデルは時間とともに劇的に改善され続けている。 既存の理論では、これは生成されたデータとは独立して、各イテレーションで新しい実データを利用可能にすることで実現されている。 しかし、正確な分離は現実的ではなく、未処理のデータも一般的に使われている。 トレーニング中に実際のデータと生成されたデータが異なる処理を行わない、より現実的なセットアップを考えることで、このギャップを埋める。 具体的には,多変量ガウス分布の平均と共分散の反復的推定に関する包括的な理論的研究を示す。 各イテレーションにおいて、サンプルは実データ分布と前回のイテレーションからの推定分布の混合から引き出されるが、区別不能に使用される。 ユークリッドノルムにおける平均および共分散推定器の整合性と、推定と真分布の間の期待される2-ワッサーシュタイン距離の零点への収束に対する単一の等価条件を提供する。 この結果から、モデル崩壊はゼロ以上の任意の固定実データ分数に対して回避され、繰り返しの間に消える分数に対しても、過度に早く消えないような一貫性が保たれることを示す。 しかし、より実際のデータ(またはデータキュレーション)は、実際の有限時間において重要なままであり、平均推定器の収束速度は、実際のデータ分数が0に近づくにつれて低下する。 我々は,理論設定に関する実証的研究と,我々の理論と相関するCIFAR-10上での拡散モデルの反復的訓練実験により,その結果を支持する。

関連論文リスト

• Double descent for least-squares interpolation on contaminated data: A simulation study [0.0]
  二重降下」は、ある複雑性モデルが到達した後に一般化誤差が減少することを示している。 我々は、非常にロバストでない最小二乗推定器の性能を、いくつかの頑健な代替品と比較する。 大きなオーバーパラメトリゼーションは実際には二重降下現象を許容し、最小二乗補間器の非常に良い一般化性能をもたらすことが判明した。
  論文  参考訳（メタデータ） (2026-04-15T16:31:23Z)
• Error Propagation and Model Collapse in Diffusion Models: A Theoretical Study [27.894241484593735]
  合成データに対する再帰的なトレーニングは、広範囲なタスクにおいて、性能を著しく低下させる。 我々は,この現象をスコアベース拡散モデルの設定において理論的に解析する。
  論文  参考訳（メタデータ） (2026-02-18T16:56:36Z)
• When Models Don't Collapse: On the Consistency of Iterative MLE [26.518651842868135]
  自然条件下での最大誤差推定(MLE)のためのモデル崩壊について検討した。 実データの一部が消えても崩壊は避けられることを示す非漸近境界を確立する。 MLE整合性以外にもいくつかの仮定(MLE整合性)が本当に必要であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T08:50:46Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。