論文の概要: Analyzing and Mitigating Model Collapse in Rectified Flow Models

• arxiv url: http://arxiv.org/abs/2412.08175v2
• Date: Sun, 09 Feb 2025 10:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 17:37:35.598663
• Title: Analyzing and Mitigating Model Collapse in Rectified Flow Models
• Title（参考訳）: 凝固流モデルにおけるモデル崩壊の解析と緩和
• Authors: Huminhao Zhu, Fangyikang Wang, Tianyu Ding, Qing Qu, Zhihui Zhu,
• Abstract要約: 近年の研究では、自己生成サンプルの繰り返しトレーニングがモデル崩壊につながることが示されている。 拡散流モデルにおけるMCに対処するための理論的解析と実用的な解を提供する。 本稿では,Real-data Augmented Reflowと一連の改良型を提案する。
• 参考スコア（独自算出の注目度）: 23.568835948164065
• License:
• Abstract: Training with synthetic data is becoming increasingly inevitable as synthetic content proliferates across the web, driven by the remarkable performance of recent deep generative models. This reliance on synthetic data can also be intentional, as seen in Rectified Flow models, whose Reflow method iteratively uses self-generated data to straighten the flow and improve sampling efficiency. However, recent studies have shown that repeatedly training on self-generated samples can lead to model collapse (MC), where performance degrades over time. Despite this, most recent work on MC either focuses on empirical observations or analyzes regression problems and maximum likelihood objectives, leaving a rigorous theoretical analysis of reflow methods unexplored. In this paper, we aim to fill this gap by providing both theoretical analysis and practical solutions for addressing MC in diffusion/flow models. We begin by studying Denoising Autoencoders and prove performance degradation when DAEs are iteratively trained on their own outputs. To the best of our knowledge, we are the first to rigorously analyze model collapse in DAEs and, by extension, in diffusion models and Rectified Flow. Our analysis and experiments demonstrate that rectified flow also suffers from MC, leading to potential performance degradation in each reflow step. Additionally, we prove that incorporating real data can prevent MC during recursive DAE training, supporting the recent trend of using real data as an effective approach for mitigating MC. Building on these insights, we propose a novel Real-data Augmented Reflow and a series of improved variants, which seamlessly integrate real data into Reflow training by leveraging reverse flow. Empirical evaluations on standard image benchmarks confirm that RA Reflow effectively mitigates model collapse, preserving high-quality sample generation even with fewer sampling steps.
• Abstract（参考訳）: 近年の深層生成モデルの顕著な性能により, 合成コンテンツがWeb全体に普及するにつれて, 合成データによるトレーニングはますます避けられないものになりつつある。 Rectified Flowモデルに見られるように、この合成データへの依存も意図的であり、Reflowメソッドは自己生成データを反復的に使用して、フローのストレート化とサンプリング効率の向上を実現している。 しかし、最近の研究では、自己生成サンプルの繰り返しトレーニングがモデル崩壊(MC)を引き起こすことが示されている。 これにもかかわらず、MCに関する最近の研究は経験的な観察に焦点を当てるか、回帰問題と最大可能性目的を分析し、リフロー法の厳密な理論的分析を未解明のまま残している。 本稿では,拡散流モデルにおけるMCに対処するための理論的解析と実用的な解を提供することにより,このギャップを埋めることを目的とする。 まず、自動エンコーダのDenoising Autoencoderの研究から始め、DAEが自身の出力で反復的にトレーニングされている場合のパフォーマンス劣化を証明します。 我々の知る限りでは、私たちはDAEのモデル崩壊と拡張によって拡散モデルとRectified Flowで厳密に分析した最初の人です。 解析および実験により, 整流流もMCに悩まされ, 各再流工程における性能劣化の可能性が示唆された。 さらに、実データの導入は、再帰的DAEトレーニング中にMCを防止できることを証明し、MCを緩和するための効果的なアプローチとして、近年のリアルデータの使用傾向を裏付ける。 これらの知見に基づいて,Real-data Augmented Reflowと一連の改良版を提案し,リバースフローを活用することで,リアルデータをReflowトレーニングにシームレスに統合する。 標準画像ベンチマークの実証評価により、RA Reflowはモデル崩壊を効果的に軽減し、サンプリングステップが少なくても高品質なサンプル生成を維持できることを確認した。

関連論文リスト

• TC-DiffRecon: Texture coordination MRI reconstruction method based on diffusion model and modified MF-UNet method [2.626378252978696]
  本稿では,T-DiffReconという名前の拡散モデルに基づくMRI再構成法を提案する。 また、モデルにより生成されたMRI画像の品質を高めるために、MF-UNetモジュールを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-02-17T13:09:00Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• The Missing U for Efficient Diffusion Models [3.712196074875643]
  拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。 それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。 本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
  論文  参考訳（メタデータ） (2023-10-31T00:12:14Z)
• GSURE-Based Diffusion Model Training with Corrupted Data [35.56267114494076]
  本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。 顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
  論文  参考訳（メタデータ） (2023-05-22T15:27:20Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)
• MCFlow: Monte Carlo Flow Models for Data Imputation [18.797803883183793]
  本稿では, 正規化フロー生成モデルとモンテカルロサンプリングを利用する計算用フレームワークMCFlowを提案する。 本稿では,提案手法の有効性を,標準多変量および画像データセット上で実証的に検証する。 MCFlowは, インプットされたデータの品質や, データのセマンティックな構造を維持する能力において, 競合する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-27T20:33:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。