論文の概要: A Note on Shumailov et al. (2024): `AI Models Collapse When Trained on Recursively Generated Data'
- arxiv url: http://arxiv.org/abs/2410.12954v2
- Date: Thu, 24 Oct 2024 19:23:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-28 13:35:02.070737
- Title: A Note on Shumailov et al. (2024): `AI Models Collapse When Trained on Recursively Generated Data'
- Title（参考訳）: Shumailov et al. (2024):「再帰的生成データに基づく学習時のAIモデル崩壊」について
- Authors: Ali Borji,
- Abstract要約: 分布やモデルがデータに適合する影響について検討し,次に繰り返しサンプリングを行った。
以上の結果から, 結果が統計的現象であり, 避けられない可能性が示唆された。
- 参考スコア（独自算出の注目度）: 43.37813040320147
- License:
- Abstract: The study conducted by Shumailov et al. (2024) demonstrates that repeatedly training a generative model on synthetic data leads to model collapse. This finding has generated considerable interest and debate, particularly given that current models have nearly exhausted the available data. In this work, we investigate the effects of fitting a distribution (through Kernel Density Estimation, or KDE) or a model to the data, followed by repeated sampling from it. Our objective is to develop a theoretical understanding of the phenomenon observed by Shumailov et al. (2024). Our results indicate that the outcomes reported are a statistical phenomenon and may be unavoidable.
- Abstract（参考訳）: Shumailov et al (2024) による研究は、合成データに生成モデルを繰り返し訓練すると、モデルが崩壊することを示した。
この発見は、特に現在のモデルで利用可能なデータがほぼ枯渇していることを考えると、かなりの関心と議論を引き起こしている。
本研究では, 分布(カーネル密度推定, KDE) やモデルがデータに与える影響について検討し, 繰り返しサンプリングを行った。
我々の目的は、Shumailov et al (2024) が観測した現象の理論的理解を深めることである。
以上の結果から, 結果が統計的現象であり, 避けられない可能性が示唆された。
関連論文リスト
- Universality of the $π^2/6$ Pathway in Avoiding Model Collapse [0.0]
π-2乗オーバ6の増大リスクの普遍性は、正準統計モデルの大群にまたがることを示した。
さまざまな拡張プロセスに対応可能なフレームワークを提供しています。
論文 参考訳（メタデータ） (2024-10-30T08:44:10Z) - Maximizing the Potential of Synthetic Data: Insights from Random Matrix Theory [8.713796223707398]
実データと合成データを混合して学習したバイナリ分類器の性能を,ランダム行列理論を用いて導出する。
本研究は, 生成モデルの品質と検証戦略に焦点をあてて, 合成データにより性能が向上する条件を明らかにした。
論文 参考訳（メタデータ） (2024-10-11T16:09:27Z) - How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。
合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。
モデル崩壊を回避できる合成データの最大量を推定する。
論文 参考訳（メタデータ） (2024-04-07T22:15:13Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Discovering Mixtures of Structural Causal Models from Time Series Data [23.18511951330646]
基礎となる因果モデルを推測するために, MCD と呼ばれる一般的な変分推論に基づくフレームワークを提案する。
このアプローチでは、データ可能性のエビデンス-ローバウンドを最大化するエンドツーエンドのトレーニングプロセスを採用しています。
本研究では,本手法が因果発見タスクにおける最先端のベンチマークを上回ることを実証する。
論文 参考訳（メタデータ） (2023-10-10T05:13:10Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z) - Amortized Causal Discovery: Learning to Infer Causal Graphs from
Time-Series Data [63.15776078733762]
本稿では,時系列データから因果関係を推定する新しいフレームワークであるAmortized Causal Discoveryを提案する。
本研究では,本手法が変分モデルとして実装され,因果発見性能が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。