論文の概要: QNCD: Quantization Noise Correction for Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.19140v1
• Date: Thu, 28 Mar 2024 04:24:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:22:41.267765
• Title: QNCD: Quantization Noise Correction for Diffusion Models
• Title（参考訳）: QNCD:拡散モデルにおける量子化ノイズ補正
• Authors: Huanpeng Chu, Wei Wu, Chengjie Zang, Kun Yuan,
• Abstract要約: 拡散モデルは画像合成に革命をもたらし、品質と創造性の新しいベンチマークを設定した。 トレーニング後の量子化は、サンプルの品質を犠牲にしてサンプリングを加速するソリューションを提供する。 サンプリング過程を通して量子化ノイズを最小化することを目的とした量子化ノイズ補正方式(QNCD)を導入する。
• 参考スコア（独自算出の注目度）: 15.189069680672239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have revolutionized image synthesis, setting new benchmarks in quality and creativity. However, their widespread adoption is hindered by the intensive computation required during the iterative denoising process. Post-training quantization (PTQ) presents a solution to accelerate sampling, aibeit at the expense of sample quality, extremely in low-bit settings. Addressing this, our study introduces a unified Quantization Noise Correction Scheme (QNCD), aimed at minishing quantization noise throughout the sampling process. We identify two primary quantization challenges: intra and inter quantization noise. Intra quantization noise, mainly exacerbated by embeddings in the resblock module, extends activation quantization ranges, increasing disturbances in each single denosing step. Besides, inter quantization noise stems from cumulative quantization deviations across the entire denoising process, altering data distributions step-by-step. QNCD combats these through embedding-derived feature smoothing for eliminating intra quantization noise and an effective runtime noise estimatiation module for dynamicly filtering inter quantization noise. Extensive experiments demonstrate that our method outperforms previous quantization methods for diffusion models, achieving lossless results in W4A8 and W8A8 quantization settings on ImageNet (LDM-4). Code is available at: https://github.com/huanpengchu/QNCD
• Abstract（参考訳）: 拡散モデルは画像合成に革命をもたらし、品質と創造性の新しいベンチマークを設定した。 しかし、それらの普及は反復的復調過程において必要となる集中的な計算によって妨げられる。 ポストトレーニング量子化(PTQ)は、サンプリングを加速するソリューションを提供する。 そこで本研究では,サンプリングプロセス中における量子化ノイズの最小化を目的とした量子化ノイズ補正方式(QNCD)を提案する。 我々は、イントラ量子化ノイズとイントラ量子化ノイズの2つの主要な量子化課題を同定する。 イントラ量子化ノイズ(Intra Quantization noise)は、主にresblockモジュールへの埋め込みによって悪化し、アクティベーション量子化範囲を拡張し、各ステップの障害を増大させる。 さらに、量子化間ノイズは、デノナイジングプロセス全体にわたる累積量子化偏差から生じ、データ分布を段階的に変化させる。 QNCDは、量子化ノイズを除去するための埋め込み型特徴平滑化と、量子化ノイズを動的にフィルタリングする効果的な実行時雑音推定モジュールによってこれらに対処する。 本手法は拡散モデルの従来の量子化手法よりも優れており,画像Net(LDM-4)上のW4A8およびW8A8量子化設定において損失のない結果が得られる。 コードは、https://github.com/huanpengchu/QNCDで入手できる。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
  拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。 既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。 本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
  論文  参考訳（メタデータ） (2023-05-18T02:28:42Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• Error-aware Quantization through Noise Tempering [43.049102196902844]
  量子化対応トレーニング(QAT)は、量子化エラーをシミュレートしながら、エンドタスクに関するモデルパラメータを最適化する。 本研究では,指数関数的に減衰する量子化・エラー認識ノイズと,学習可能なタスク損失勾配のスケールを組み込んで量子化演算子の効果を近似する。 本手法は, 従来の手法を0.5-1.2%絶対値で上回り, 均一な(非混合精度)量子化のための最先端トップ1分類精度を得る。
  論文  参考訳（メタデータ） (2022-12-11T20:37:50Z)
• NoisyQuant: Noisy Bias-Enhanced Post-Training Activation Quantization for Vision Transformers [53.85087932591237]
  NoisyQuantは、視覚変換器のトレーニング後のアクティベーション量子化性能に対する量子化器に依存しない拡張である。 理論的な洞察に基づいて、NoisyQuantは重い尾の活性化分布を積極的に変化させる最初の成功を達成している。 NoisyQuantは、最小の計算オーバーヘッドで視覚変換器のトレーニング後の量子化性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-11-29T10:02:09Z)
• QuantumNAT: Quantum Noise-Aware Training with Noise Injection, Quantization and Normalization [22.900530292063348]
  量子回路(PQC)は、短期量子ハードウェアにおける量子優位性を約束している。 しかし、大きな量子ノイズ(エラー)のため、PQCモデルの性能は実際の量子デバイスで著しく低下する。 本稿では,PQC固有のフレームワークであるQuantumNATを提案する。
  論文  参考訳（メタデータ） (2021-10-21T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。