論文の概要: Heat Death of Generative Models in Closed-Loop Learning

• arxiv url: http://arxiv.org/abs/2404.02325v2
• Date: Wed, 28 Aug 2024 22:54:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 19:18:41.380719
• Title: Heat Death of Generative Models in Closed-Loop Learning
• Title（参考訳）: 閉ループ学習における生成モデルの熱死
• Authors: Matteo Marchi, Stefano Soatto, Pratik Chaudhari, Paulo Tabuada,
• Abstract要約: 本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
• 参考スコア（独自算出の注目度）: 63.83608300361159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improvement and adoption of generative machine learning models is rapidly accelerating, as exemplified by the popularity of LLMs (Large Language Models) for text, and diffusion models for image generation. As generative models become widespread, data they generate is incorporated into shared content through the public web. This opens the question of what happens when data generated by a model is fed back to the model in subsequent training campaigns. This is a question about the stability of the training process, whether the distribution of publicly accessible content, which we refer to as "knowledge", remains stable or collapses. Small scale empirical experiments reported in the literature show that this closed-loop training process is prone to degenerating. Models may start producing gibberish data, or sample from only a small subset of the desired data distribution (a phenomenon referred to as mode collapse). So far there has been only limited theoretical understanding of this process, in part due to the complexity of the deep networks underlying these generative models. The aim of this paper is to provide insights into this process (that we refer to as "generative closed-loop learning") by studying the learning dynamics of generative models that are fed back their own produced content in addition to their original training dataset. The sampling of many of these models can be controlled via a "temperature" parameter. Using dynamical systems tools, we show that, unless a sufficient amount of external data is introduced at each iteration, any non-trivial temperature leads the model to asymptotically degenerate. In fact, either the generative distribution collapses to a small set of outputs or becomes uniform over a large set of outputs.
• Abstract（参考訳）: テキスト用LLM(Large Language Models)や画像生成用拡散モデルなどにより,生成機械学習モデルの改良と採用が急速に加速している。 生成モデルが普及するにつれて、生成したデータは公開ウェブを通じて共有コンテンツに組み込まれる。 このことは、その後のトレーニングキャンペーンでモデルによって生成されたデータがモデルにフィードバックされたときに何が起こるのかという疑問を提起する。 これは、トレーニングプロセスの安定性に関する問題であり、私たちが「知識」と呼ぶ公開コンテンツの分布が安定しているか、崩壊しているかである。 論文で報告された小規模な実験実験により、この閉ループトレーニングプロセスは縮退しがちであることが示された。 モデルは、望まれるデータ分布の小さなサブセット(モード崩壊と呼ばれる現象)からのみ、ジベリッシュなデータを生成する。 これまでのところ、これらの生成モデルの基礎となる深層ネットワークの複雑さのために、このプロセスに関する理論的理解は限られている。 本研究の目的は、本プロセス(「生成クローズドループ学習」と呼ぶ)について、独自の学習データセットに加えて、独自の生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスを研究することである。 これらのモデルのサンプリングは、"温度"パラメータによって制御できる。 動的システムツールを用いて、各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを漸近的に退化させることを示す。 実際、生成分布は小さな出力セットに崩壊するか、あるいは大きな出力セットに対して一様になる。

関連論文リスト

• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Ablation Based Counterfactuals [7.481286710933861]
  ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。 拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。 次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
  論文  参考訳（メタデータ） (2024-06-12T06:22:51Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Continual Learning of Diffusion Models with Generative Distillation [34.52513912701778]
  拡散モデルは画像合成における最先端性能を達成する強力な生成モデルである。 本稿では,拡散モデルの全逆過程を除去する生成蒸留法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T14:33:03Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。