論文の概要: Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation

• arxiv url: http://arxiv.org/abs/2505.13377v1
• Date: Mon, 19 May 2025 17:21:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.764997
• Title: Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation
• Title（参考訳）: 再生スコア蒸留:1ステップ高品位発生前処理による崩壊拡散
• Authors: Yasi Zhang, Tianyu Chen, Zhendong Wang, Ying Nian Wu, Mingyuan Zhou, Oscar Leong,
• Abstract要約: Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 82.39763984380625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning generative models from corrupted data is a fundamental yet persistently challenging task across scientific disciplines, particularly when access to clean data is limited or expensive. Denoising Score Distillation (DSD) \cite{chen2025denoising} recently introduced a novel and surprisingly effective strategy that leverages score distillation to train high-fidelity generative models directly from noisy observations. Building upon this foundation, we propose \textit{Restoration Score Distillation} (RSD), a principled generalization of DSD that accommodates a broader range of corruption types, such as blurred, incomplete, or low-resolution images. RSD operates by first pretraining a teacher diffusion model solely on corrupted data and subsequently distilling it into a single-step generator that produces high-quality reconstructions. Empirically, RSD consistently surpasses its teacher model across diverse restoration tasks on both natural and scientific datasets. Moreover, beyond standard diffusion objectives, the RSD framework is compatible with several corruption-aware training techniques such as Ambient Tweedie, Ambient Diffusion, and its Fourier-space variant, enabling flexible integration with recent advances in diffusion modeling. Theoretically, we demonstrate that in a linear regime, RSD recovers the eigenspace of the clean data covariance matrix from linear measurements, thereby serving as an implicit regularizer. This interpretation recasts score distillation not only as a sampling acceleration technique but as a principled approach to enhancing generative performance in severely degraded data regimes.
• Abstract（参考訳）: 破損したデータから生成モデルを学ぶことは、科学分野、特にクリーンデータへのアクセスが限定的または高価である場合に、基本的な、しかし永続的な課題である。 Denoising Score Distillation (DSD) \cite{chen2025denoising} は先日,高忠実度生成モデルを直接ノイズ観測からトレーニングするために,スコア蒸留を利用した新しい,驚くほど効果的な手法を導入した。 この基礎の上に構築された「textit{Restoration Score Distillation}」(RSD)は、ぼやけた画像、不完全画像、低解像度画像などの幅広い汚職タイプに対応するDSDの原理的な一般化である。 RSDは、まず、破損したデータのみに基づいて教師拡散モデルを事前訓練し、その後、高品質な再構成を生成する1ステップのジェネレータに蒸留する。 経験的に、RSDは自然と科学の両方のデータセットの様々な復元タスクにおいて、一貫して教師モデルを上回っている。 さらに、標準拡散目標を超えて、RSDフレームワークは、アンビエント・ツイーディ、アンビエント・ディフュージョン、およびフーリエ空間の変種など、いくつかの汚職を意識した訓練手法と互換性があり、近年の拡散モデリングの進歩と柔軟に統合できる。 理論的には、線形状態において、RSDは線形測定からクリーンデータ共分散行列の固有空間を復元し、暗黙の正則化器として機能することを示した。 この解釈は、サンプリング加速技術としてだけでなく、高度に劣化したデータ体制における生成性能を高めるための原則的アプローチとして、スコア蒸留を再放送する。

関連論文リスト

• Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
  論文  参考訳（メタデータ） (2025-03-10T17:44:46Z)
• Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration [29.731089599252954]
  マルチウェザー画像復元のための劣化促進拡散フレームワーク(D4IR)を提案する。 モデル崩壊を避けるために、GANを事前訓練された拡散モデルに置き換え、劣化認識プロンプトアダプタを組み込む。 提案手法は,元のトレーニングデータで蒸留したモデルに匹敵する性能を示し,他の主流の教師なし手法よりも優れている。
  論文  参考訳（メタデータ） (2024-09-05T12:07:17Z)
• Advancing Pre-trained Teacher: Towards Robust Feature Discrepancy for Anomaly Detection [19.099643719358692]
  AANDと呼ばれる単純な2段階産業異常検出フレームワークを提案する。 第1の異常増幅段階において,事前学習した教師エンコーダを前進させる新しい残留異常増幅(RAA)モジュールを提案する。 さらに, 学生デコーダを訓練するために, 逆蒸留パラダイムを用いて, 新たなハードナレッジ蒸留(HKD)の損失を発生させ, 正常なパターンの再構築を容易にする。
  論文  参考訳（メタデータ） (2024-05-03T13:00:22Z)
• Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
  Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。 SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
  論文  参考訳（メタデータ） (2024-04-05T12:30:19Z)
• Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt [52.6946016535059]
  データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-16T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。