論文の概要: Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation

• arxiv url: http://arxiv.org/abs/2503.07578v1
• Date: Mon, 10 Mar 2025 17:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:45.087738
• Title: Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation
• Title（参考訳）: デノイングスコア蒸留:ノイズ拡散前訓練から1ステップ高品質発生まで
• Authors: Tianyu Chen, Yasi Zhang, Zhendong Wang, Ying Nian Wu, Oscar Leong, Mingyuan Zhou,
• Abstract要約: 低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
• 参考スコア（独自算出の注目度）: 82.39763984380625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have achieved remarkable success in generating high-resolution, realistic images across diverse natural distributions. However, their performance heavily relies on high-quality training data, making it challenging to learn meaningful distributions from corrupted samples. This limitation restricts their applicability in scientific domains where clean data is scarce or costly to obtain. In this work, we introduce denoising score distillation (DSD), a surprisingly effective and novel approach for training high-quality generative models from low-quality data. DSD first pretrains a diffusion model exclusively on noisy, corrupted samples and then distills it into a one-step generator capable of producing refined, clean outputs. While score distillation is traditionally viewed as a method to accelerate diffusion models, we show that it can also significantly enhance sample quality, particularly when starting from a degraded teacher model. Across varying noise levels and datasets, DSD consistently improves generative performancewe summarize our empirical evidence in Fig. 1. Furthermore, we provide theoretical insights showing that, in a linear model setting, DSD identifies the eigenspace of the clean data distributions covariance matrix, implicitly regularizing the generator. This perspective reframes score distillation as not only a tool for efficiency but also a mechanism for improving generative models, particularly in low-quality data settings.
• Abstract（参考訳）: 拡散モデルは様々な自然分布にまたがる高解像度でリアルな画像を生成することに成功している。 しかし、それらのパフォーマンスは高品質なトレーニングデータに大きく依存しているため、破損したサンプルから意味のある分布を学習することは困難である。 この制限は、クリーンデータが少ない、あるいは入手にコストがかかる科学領域における適用性を制限する。 本研究では,低品質データから高品質な生成モデルをトレーニングするための,驚くほど効果的で斬新な手法であるDSD(Denoising score distillation)を導入する。 DSDはまず、ノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップのジェネレータに蒸留する。 従来, スコア蒸留は拡散モデルを高速化する手法と考えられてきたが, 特に劣化した教師モデルから始めると, 試料の品質を著しく向上させることができることを示す。 様々なノイズレベルとデータセットに対して、DSDは一貫して生成性能を改善します。 さらに、線形モデル設定において、DSDはクリーンデータ分布共分散行列の固有空間を同定し、生成元を暗黙的に正規化することを示す理論的知見を提供する。 この視点は、蒸留を効率のツールとしてだけでなく、特に低品質のデータ設定において、生成モデルを改善するメカニズムとして評価する。

関連論文リスト

• TarDiff: Target-Oriented Diffusion Guidance for Synthetic Electronic Health Record Time Series Generation [26.116599951658454]
  時系列生成は臨床機械学習モデルの進歩に不可欠である。 観測データのみに対する忠実性は、モデル性能の向上を保証するものではない、と我々は主張する。 タスク固有のインフルエンスガイダンスを統合した,新たなターゲット指向拡散フレームワークであるTarDiffを提案する。
  論文  参考訳（メタデータ） (2025-04-24T14:36:10Z)
• The Effect of Optimal Self-Distillation in Noisy Gaussian Mixture Model [2.355460994057843]
  自己蒸留(英: self-distillation, SD)とは、モデルが自身の予測から自分自身を洗練させる技法である。 広く使われているにもかかわらず、その効果の基盤となるメカニズムはいまだ不明である。
  論文  参考訳（メタデータ） (2025-01-27T17:20:48Z)
• EM Distillation for One-step Diffusion Models [65.57766773137068]
  最小品質の損失を最小限に抑えた1ステップ生成モデルに拡散モデルを蒸留する最大可能性に基づく手法を提案する。 本研究では, 蒸留プロセスの安定化を図るため, 再パラメータ化サンプリング手法とノイズキャンセリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-27T05:55:22Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• A High-Quality Robust Diffusion Framework for Corrupted Dataset [3.7287133112262407]
  本稿では,GAN(Generative Adversarial Model)のための第1次ロバスト・ト・アウトリエ拡散法を提案する。 本手法は, 破損したデータセットに対して堅牢性を示し, クリーンなデータセット上での優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-28T08:05:04Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。