論文の概要: Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation

• arxiv url: http://arxiv.org/abs/2503.07578v1
• Date: Mon, 10 Mar 2025 17:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 18:54:28.967122
• Title: Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation
• Title（参考訳）: デノイングスコア蒸留:ノイズ拡散前訓練から1ステップ高品質発生まで
• Authors: Tianyu Chen, Yasi Zhang, Zhendong Wang, Ying Nian Wu, Oscar Leong, Mingyuan Zhou,
• Abstract要約: 低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
• 参考スコア（独自算出の注目度）: 82.39763984380625
• License:
• Abstract: Diffusion models have achieved remarkable success in generating high-resolution, realistic images across diverse natural distributions. However, their performance heavily relies on high-quality training data, making it challenging to learn meaningful distributions from corrupted samples. This limitation restricts their applicability in scientific domains where clean data is scarce or costly to obtain. In this work, we introduce denoising score distillation (DSD), a surprisingly effective and novel approach for training high-quality generative models from low-quality data. DSD first pretrains a diffusion model exclusively on noisy, corrupted samples and then distills it into a one-step generator capable of producing refined, clean outputs. While score distillation is traditionally viewed as a method to accelerate diffusion models, we show that it can also significantly enhance sample quality, particularly when starting from a degraded teacher model. Across varying noise levels and datasets, DSD consistently improves generative performancewe summarize our empirical evidence in Fig. 1. Furthermore, we provide theoretical insights showing that, in a linear model setting, DSD identifies the eigenspace of the clean data distributions covariance matrix, implicitly regularizing the generator. This perspective reframes score distillation as not only a tool for efficiency but also a mechanism for improving generative models, particularly in low-quality data settings.
• Abstract（参考訳）: 拡散モデルは様々な自然分布にまたがる高解像度でリアルな画像を生成することに成功している。 しかし、それらのパフォーマンスは高品質なトレーニングデータに大きく依存しているため、破損したサンプルから意味のある分布を学習することは困難である。 この制限は、クリーンデータが少ない、あるいは入手にコストがかかる科学領域における適用性を制限する。 本研究では,低品質データから高品質な生成モデルをトレーニングするための,驚くほど効果的で斬新な手法であるDSD(Denoising score distillation)を導入する。 DSDはまず、ノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップのジェネレータに蒸留する。 従来, スコア蒸留は拡散モデルを高速化する手法と考えられてきたが, 特に劣化した教師モデルから始めると, 試料の品質を著しく向上させることができることを示す。 様々なノイズレベルとデータセットに対して、DSDは一貫して生成性能を改善します。 さらに、線形モデル設定において、DSDはクリーンデータ分布共分散行列の固有空間を同定し、生成元を暗黙的に正規化することを示す理論的知見を提供する。 この視点は、蒸留を効率のツールとしてだけでなく、特に低品質のデータ設定において、生成モデルを改善するメカニズムとして評価する。

関連論文リスト

• The Effect of Optimal Self-Distillation in Noisy Gaussian Mixture Model [2.355460994057843]
  自己蒸留(英: self-distillation, SD)とは、モデルが自身の予測から自分自身を洗練させる技法である。 広く使われているにもかかわらず、その効果の基盤となるメカニズムはいまだ不明である。
  論文  参考訳（メタデータ） (2025-01-27T17:20:48Z)
• DDIL: Improved Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• Integrating Amortized Inference with Diffusion Models for Learning Clean Distribution from Corrupted Images [19.957503854446735]
  拡散モデル(DM)は、逆問題を解決するための強力な生成モデルとして登場した。 FlowDiffは条件付き正規化フローモデルを利用して、破損したデータソース上で拡散モデルのトレーニングを容易にする共同トレーニングパラダイムである。 実験の結果,FlowDiffは広範囲の破損したデータソースにわたるクリーンな分布を効果的に学習できることがわかった。
  論文  参考訳（メタデータ） (2024-07-15T18:33:20Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。