論文の概要: A Closer Look at Model Collapse: From a Generalization-to-Memorization Perspective

• arxiv url: http://arxiv.org/abs/2509.16499v2
• Date: Wed, 01 Oct 2025 16:21:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.755669
• Title: A Closer Look at Model Collapse: From a Generalization-to-Memorization Perspective
• Title（参考訳）: モデル崩壊の概観:一般化から記憶への視点から
• Authors: Lianghe Shi, Meng Wu, Huijie Zhang, Zekai Zhang, Molei Tao, Qing Qu,
• Abstract要約: 拡散モデルによってAI生成データが多くなり、モデル崩壊に対する懸念が高まっている。 本稿では,拡散モデルにおけるモデル崩壊時の一般化から記憶への移行について述べる。 この知見により,一般化から記憶への移行を緩和するエントロピーに基づくデータ選択戦略を提案する。
• 参考スコア（独自算出の注目度）: 31.227375452793634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread use of diffusion models has led to an abundance of AI-generated data, raising concerns about model collapse -- a phenomenon in which recursive iterations of training on synthetic data lead to performance degradation. Prior work primarily characterizes this collapse via variance shrinkage or distribution shift, but these perspectives miss practical manifestations of model collapse. This paper identifies a transition from generalization to memorization during model collapse in diffusion models, where models increasingly replicate training data instead of generating novel content during iterative training on synthetic samples. This transition is directly driven by the declining entropy of the synthetic training data produced in each training cycle, which serves as a clear indicator of model degradation. Motivated by this insight, we propose an entropy-based data selection strategy to mitigate the transition from generalization to memorization and alleviate model collapse. Empirical results show that our approach significantly enhances visual quality and diversity in recursive generation, effectively preventing collapse.
• Abstract（参考訳）: 拡散モデルの普及により、AI生成データが多くなり、モデル崩壊への懸念が高まっている。 従来の研究は主に分散収縮や分布シフトによるこの崩壊を特徴付けるが、これらの視点はモデル崩壊の実践的な現象を見逃している。 本稿では,拡散モデルにおけるモデル崩壊時の一般化から記憶への遷移を明らかにする。 この遷移は、各トレーニングサイクルで生成された合成トレーニングデータのエントロピーの低下によって直接駆動され、モデル劣化の明確な指標となる。 この知見により,一般化から記憶への遷移を緩和し,モデル崩壊を緩和するエントロピーに基づくデータ選択戦略を提案する。 実験の結果,本手法は再帰的生成における視覚的品質と多様性を著しく向上し,崩壊を効果的に防止することが示された。

関連論文リスト

• ForTIFAI: Fending Off Recursive Training Induced Failure for AI Models [13.096745830570944]
  我々は、自己生成データにおけるモデル過信を、崩壊の鍵となる要因として認識する。 我々はTrncated Cross Entropy (TCE)と呼ばれる新しい損失関数を導入する。 これらの結果から、損失関数の設計は、生成モデルの品質を維持するためのシンプルだが強力なツールであることが示された。
  論文  参考訳（メタデータ） (2025-09-10T20:06:51Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Model Collapse in the Self-Consuming Chain of Diffusion Finetuning: A Novel Perspective from Quantitative Trait Modeling [10.159932782892865]
  本稿では,事前に訓練されたテキスト-画像拡散モデルが生成した画像に基づいて微調整される拡散の連鎖について検討する。 画像品質の悪化は普遍的であり,このモデル崩壊に影響を及ぼす要因としてCFGスケールを同定した。 本稿では,遺伝子変異に触発された簡便かつ効果的な方法として,再利用可能な拡散微細構造(ReDiFine)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T13:41:54Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Model Collapse Demystified: The Case of Regression [12.115359951879462]
  大規模言語や画像生成モデルの普及期における「モデル崩壊」現象について検討する。 我々は、この現象を幅広い状況で定量的に概説する分析式を得る。 モデル崩壊を緩和する適応正則化に基づく簡単な戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-12T15:26:01Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。