論文の概要: Towards Theoretical Understandings of Self-Consuming Generative Models
- arxiv url: http://arxiv.org/abs/2402.11778v1
- Date: Mon, 19 Feb 2024 02:08:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 18:55:26.339172
- Title: Towards Theoretical Understandings of Self-Consuming Generative Models
- Title(参考訳): 自己消費生成モデルの理論的理解に向けて
- Authors: Shi Fu, Sen Zhang, Yingjie Wang, Xinmei Tian, Dacheng Tao
- Abstract要約: 本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
- 参考スコア(独自算出の注目度): 60.98692028151328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper tackles the emerging challenge of training generative models
within a self-consuming loop, wherein successive generations of models are
recursively trained on mixtures of real and synthetic data from previous
generations. We construct a theoretical framework to rigorously evaluate how
this training regimen impacts the data distributions learned by future models.
Specifically, we derive bounds on the total variation (TV) distance between the
synthetic data distributions produced by future models and the original real
data distribution under various mixed training scenarios. Our analysis
demonstrates that this distance can be effectively controlled under the
condition that mixed training dataset sizes or proportions of real data are
large enough. Interestingly, we further unveil a phase transition induced by
expanding synthetic data amounts, proving theoretically that while the TV
distance exhibits an initial ascent, it declines beyond a threshold point.
Finally, we specialize our general results to diffusion models, delivering
nuanced insights such as the efficacy of optimal early stopping within the
self-consuming loop.
- Abstract(参考訳): 本稿では,実データと合成データの混合データを用いて,連続するモデルが再帰的に訓練される自己消費ループ内の生成モデル訓練の新たな課題に挑戦する。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
具体的には、様々な混合訓練シナリオにおいて、将来のモデルによって生成された合成データ分布と元の実データ分布との間の全変動(tv)距離の境界を導出する。
この距離は,混合学習データセットのサイズや実データの比率が十分に大きいという条件下で効果的に制御できることを示す。
興味深いことに、我々は合成データ量の拡大によって誘導される相転移をさらに明らかにし、TV距離が初期上昇を示す一方で、しきい値を超えていることを理論的に証明した。
最後に,拡散モデルに一般結果を特化して,自己消費ループ内での最適早期停止の有効性などの曖昧な洞察を提供する。
関連論文リスト
- Data Attribution for Diffusion Models: Timestep-induced Bias in
Influence Estimation [58.20016784231991]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳(メタデータ) (2024-01-17T07:58:18Z) - On the Limitation of Diffusion Models for Synthesizing Training Datasets [5.384630221560811]
本稿では, 実試料から再構成した合成試料を拡散・逆過程により解析することにより, 合成試料と実試料とのギャップを解明する。
その結果, 合成データセットは, 最先端拡散モデルを用いても, 実際のデータセットの分類性能を低下させることがわかった。
論文 参考訳(メタデータ) (2023-11-22T01:42:23Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。
実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
論文 参考訳(メタデータ) (2023-10-15T04:24:42Z) - On the Stability of Iterative Retraining of Generative Models on their
own Data [56.153542044045224]
生成モデルの訓練がデータセット(実データと合成データの混合データ)の安定性に及ぼす影響について検討した。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は,CIFAR10およびFFHQ上の正規化フローと最先端拡散モデルの反復的訓練により,合成画像と自然画像の両方に関する理論を実証的に検証した。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - EquiDiff: A Conditional Equivariant Diffusion Model For Trajectory
Prediction [11.960234424309265]
本研究では,将来の車両軌道予測のための深部生成モデルであるEquiDiffを提案する。
EquiDiffは、過去の情報とランダムなガウスノイズを組み込んで将来の軌跡を生成する条件拡散モデルに基づいている。
以上の結果から,EquiDiffは短期予測では他のベースラインモデルよりも優れているが,長期予測では誤差が若干高いことがわかった。
論文 参考訳(メタデータ) (2023-08-12T13:17:09Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳(メタデータ) (2023-05-29T04:22:57Z) - On the Generalization of Diffusion Model [42.447639515467934]
生成したデータとトレーニングセットの相互情報によって測定される生成モデルの一般化を定義する。
実験的最適拡散モデルでは, 決定論的サンプリングによって生成されたデータは, すべてトレーニングセットに強く関連しており, 一般化が不十分であることを示す。
本稿では,経験的最適解が一般化問題を持たない別の学習目標を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:57Z) - Improving Maximum Likelihood Training for Text Generation with Density
Ratio Estimation [51.091890311312085]
本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。
本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
論文 参考訳(メタデータ) (2020-07-12T15:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。