論文の概要: Analyzing and Improving Model Collapse in Rectified Flow Models

• arxiv url: http://arxiv.org/abs/2412.08175v1
• Date: Wed, 11 Dec 2024 08:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:03:31.144368
• Title: Analyzing and Improving Model Collapse in Rectified Flow Models
• Title（参考訳）: 整流流れモデルにおけるモデル崩壊の解析と改善
• Authors: Huminhao Zhu, Fangyikang Wang, Tianyu Ding, Qing Qu, Zhihui Zhu,
• Abstract要約: 生成モデルは、実際の分布と区別できない合成データを生成することを目的としているが、自己生成データに対する反復的な訓練は、エファンモデル崩壊(MC)を引き起こす可能性がある。 我々は、DAE(Denoising Autoencoders)の文脈内でのフレーミングにより、Rectified FlowにおけるMCの最初の理論的解析を行う。
• 参考スコア（独自算出の注目度）: 23.568835948164065
• License:
• Abstract: Generative models aim to produce synthetic data indistinguishable from real distributions, but iterative training on self-generated data can lead to \emph{model collapse (MC)}, where performance degrades over time. In this work, we provide the first theoretical analysis of MC in Rectified Flow by framing it within the context of Denoising Autoencoders (DAEs). We show that when DAE models are trained on recursively generated synthetic data with small noise variance, they suffer from MC with progressive diminishing generation quality. To address this MC issue, we propose methods that strategically incorporate real data into the training process, even when direct noise-image pairs are unavailable. Our proposed techniques, including Reverse Collapse-Avoiding (RCA) Reflow and Online Collapse-Avoiding Reflow (OCAR), effectively prevent MC while maintaining the efficiency benefits of Rectified Flow. Extensive experiments on standard image datasets demonstrate that our methods not only mitigate MC but also improve sampling efficiency, leading to higher-quality image generation with fewer sampling steps.
• Abstract（参考訳）: 生成モデルは、実際の分布と区別できない合成データを生成することを目的としているが、自己生成データに対する反復的なトレーニングは、時間とともにパフォーマンスが低下する「emph{model collapse (MC)}につながる可能性がある。 本研究では,DAE(Denoising Autoencoders)のコンテキスト内でのフレーミングにより,Rectified FlowにおけるMCに関する最初の理論的解析を行う。 本研究では,DAEモデルが低ノイズの連続合成データに対して再帰的に訓練された場合,MCが劣化し,生成品質が低下することを示す。 このMC問題に対処するために,直接雑音像対が利用できない場合でも,実データをトレーニングプロセスに戦略的に組み込む手法を提案する。 提案手法は,Reverse Collapse-Avoiding Reflow (RCA) や Online Collapse-Avoiding Reflow (OCAR) などであり,その有効性を維持しつつ,MCを効果的に防止するものである。 標準画像データセットに対する大規模な実験により,提案手法はMCを緩和するだけでなく,サンプリング効率も向上し,サンプリングステップの少ない高品質な画像生成が可能となった。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• FlowDAS: A Flow-Based Framework for Data Assimilation [15.64941169350615]
  FlowDASは、状態遷移ダイナミクスと生成前の学習を統合するために補間剤を用いた新しい生成モデルベースのフレームワークである。 実験では,ローレンツシステムから高次元流体超解像タスクに至るまで,様々なベンチマークにおいてFlowDASの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-13T05:03:41Z)
• E2EDiff: Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは生成モデリングの強力なフレームワークとして登場し、様々なタスクで最先端のパフォーマンスを実現している。 トレーニングサンプリングのギャップ、プログレッシブノイズ発生過程における情報漏洩、およびトレーニング中の知覚的および敵対的損失のような高度な損失関数を組み込むことができないことなど、いくつかの固有の制限に直面している。 本稿では,最終的な再構築出力を直接最適化することで,トレーニングとサンプリングのプロセスを整合させる,革新的なエンドツーエンドトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Exploring Continual Learning of Diffusion Models [24.061072903897664]
  拡散モデルの連続学習(CL)特性を評価する。 我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-27T15:52:14Z)
• A Physics-informed Diffusion Model for High-fidelity Flow Field Reconstruction [0.0]
  本研究では,高忠実度データのみを使用する拡散モデルを提案する。 異なる構成で、本モデルでは、正規の低忠実度サンプルまたはスパース測定サンプルから高忠実度データを再構成することができる。 本モデルでは, 異なる入力源に基づく2次元乱流の正確な再構成結果が得られるが, 再学習は行わない。
  論文  参考訳（メタデータ） (2022-11-26T23:14:18Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。