論文の概要: D$^2$-DPM: Dual Denoising for Quantized Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2501.08180v1
• Date: Tue, 14 Jan 2025 15:03:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:25.774411
• Title: D$^2$-DPM: Dual Denoising for Quantized Diffusion Probabilistic Models
• Title（参考訳）: D$^2$-DPM:量子拡散確率モデルのためのデュアルデノゲーション
• Authors: Qian Zeng, Jie Song, Han Zheng, Hao Jiang, Mingli Song,
• Abstract要約: 本稿では、雑音推定ネットワークにおける量子化雑音の悪影響を正確に軽減することを目的とした二重復調機構D2-DPMを提案する。 実験により、D2-DPMはより優れた生成品質を示し、フル精度モデルよりも1.42低いFIDが得られることがわかった。
• 参考スコア（独自算出の注目度）: 39.82108523014919
• License:
• Abstract: Diffusion models have achieved cutting-edge performance in image generation. However, their lengthy denoising process and computationally intensive score estimation network impede their scalability in low-latency and resource-constrained scenarios. Post-training quantization (PTQ) compresses and accelerates diffusion models without retraining, but it inevitably introduces additional quantization noise, resulting in mean and variance deviations. In this work, we propose D2-DPM, a dual denoising mechanism aimed at precisely mitigating the adverse effects of quantization noise on the noise estimation network. Specifically, we first unravel the impact of quantization noise on the sampling equation into two components: the mean deviation and the variance deviation. The mean deviation alters the drift coefficient of the sampling equation, influencing the trajectory trend, while the variance deviation magnifies the diffusion coefficient, impacting the convergence of the sampling trajectory. The proposed D2-DPM is thus devised to denoise the quantization noise at each time step, and then denoise the noisy sample through the inverse diffusion iterations. Experimental results demonstrate that D2-DPM achieves superior generation quality, yielding a 1.42 lower FID than the full-precision model while achieving 3.99x compression and 11.67x bit-operation acceleration.
• Abstract（参考訳）: 拡散モデルは画像生成において最先端の性能を達成した。 しかし、その長期化過程と計算集約的なスコア推定ネットワークは、低レイテンシおよびリソース制約のあるシナリオにおけるスケーラビリティを阻害する。 後トレーニング量子化(PTQ)は再トレーニングなしで拡散モデルを圧縮・加速するが、必然的に量子化ノイズを導入し、平均偏差と分散偏差をもたらす。 そこで本研究では,雑音推定ネットワークにおける量子化雑音の悪影響を正確に軽減することを目的としたD2-DPMを提案する。 具体的には、まず量子化ノイズがサンプリング方程式に与える影響を、平均偏差と分散偏差の2つの成分に明らかにする。 平均偏差はサンプリング方程式のドリフト係数を変化させ, 分散偏差は拡散係数を大きくし, サンプリング軌道の収束に影響を与える。 そこで提案したD2-DPMは,各時間ステップで量子化ノイズを消音し,逆拡散繰り返しにより雑音のサンプルを消音する。 実験結果から,D2-DPMは実精度モデルよりも1.42FID低く,3.99x圧縮,11.67xビット演算高速化を実現した。

関連論文リスト

• MPQ-DM: Mixed Precision Quantization for Extremely Low Bit Diffusion Models [37.061975191553]
  本稿では,拡散モデルのための混合精度量子化法MPQ-DMを提案する。 重み付き外周波による量子化誤差を軽減するために,外周波混合量子化手法を提案する。 時間ステップを横断する表現を頑健に学習するために,時間-平滑な関係蒸留方式を構築した。
  論文  参考訳（メタデータ） (2024-12-16T08:31:55Z)
• Soft Mixture Denoising: Beyond the Expressive Bottleneck of Diffusion Models [76.46246743508651]
  我々は,現在の拡散モデルが後方認知において表現力のあるボトルネックを持っていることを示した。 本稿では,後方復調のための表現的かつ効率的なモデルであるソフトミキシング・デノナイジング(SMD)を導入する。
  論文  参考訳（メタデータ） (2023-09-25T12:03:32Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
  拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。 既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。 本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
  論文  参考訳（メタデータ） (2023-05-18T02:28:42Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。