論文の概要: Feature Selective Model Collapse in Diffusion Models: Total Replacement versus Fixed-Budget Training

• arxiv url: http://arxiv.org/abs/2610.01318v1
• Date: Thu, 01 Oct 2026 08:47:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.012986
• Title: Feature Selective Model Collapse in Diffusion Models: Total Replacement versus Fixed-Budget Training
• Title（参考訳）: 拡散モデルにおける特徴選択モデル崩壊:全置換と固定予算トレーニング
• Abstract要約: モデル崩壊は、生成モデルが以前のモデルによって生成された合成データに基づいて訓練されたときに起こる。 実際のデータを合成データに置き換えることは、崩壊を引き起こすが、実際のデータを合成データと一緒に蓄積することは、それを防ぐことができる。 拡散モデルでは, 有限予算パイプラインの典型的な中間構造について検討し, 全ての過去のデータセットと実データを保持するが, それぞれの新モデルは, この成長プールの固定サイズのサンプルで訓練されるので, 実際の分数はデータを取り除かずに消滅する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model collapse arises when generative models are trained on synthetic data produced by earlier models. The phenomenon has attracted considerable attention because of its societal and technical implications. However, previous studies have reached seemingly contradictory conclusions: replacing real data with synthetic data causes collapse (Shumailov et al.), yet accumulating real data alongside synthetic data can prevent it. For diffusion models, we study an intermediate regime typical of finite-budget pipelines: all past datasets and the real data are kept, but each new model is trained on a fixed-size sample from this growing pool, so the real fraction vanishes without any data being removed. Experiments on a 2D spiral dataset as well as the image benchmarks (MNIST, Fashion-MNIST, and CIFAR-10) show that replacement protocol degrades dataset rapidly as in the literature, whereas the fixed budget degrades only partially, sparing some features. A linear-response model of the multi-generational parameter dynamics, analyzed by stochastic recursion, confirms that the two protocols differ: some features will be fragile and lost within a few generations for both protocols, while some will be robust and preserved over practically unbounded horizons under the fixed budget protocol.
• Abstract（参考訳）: モデル崩壊は、生成モデルが以前のモデルによって生成された合成データに基づいて訓練されたときに起こる。 この現象は社会的および技術的な意味からかなりの注目を集めている。 しかし、以前の研究では、実際のデータを合成データに置き換えると崩壊する(Shumailov et al )という矛盾する結論に達した。 拡散モデルでは, 有限予算パイプラインの典型的な中間構造について検討し, 全ての過去のデータセットと実データを保持するが, それぞれの新モデルは, この成長プールの固定サイズのサンプルで訓練されるので, 実際の分数はデータを取り除かずに消滅する。 2Dスパイラルデータセットと画像ベンチマーク(MNIST、Fashion-MNIST、CIFAR-10)の実験では、置換プロトコルは文献のようにデータセットを急速に劣化させるが、固定予算は部分的に低下し、いくつかの特徴を欠いている。 確率的再帰法により解析された多世代パラメータの線形応答モデルでは、2つのプロトコルが異なることが確認されている。

関連論文リスト

• When Models Don't Collapse: On the Consistency of Iterative MLE [26.518651842868135]
  自然条件下での最大誤差推定(MLE)のためのモデル崩壊について検討した。 実データの一部が消えても崩壊は避けられることを示す非漸近境界を確立する。 MLE整合性以外にもいくつかの仮定(MLE整合性)が本当に必要であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T08:50:46Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
  モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。 合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。 モデル崩壊を回避できる合成データの最大量を推定する。
  論文  参考訳（メタデータ） (2024-04-07T22:15:13Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。