論文の概要: Timestep-Aware Correction for Quantized Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.03917v1
• Date: Thu, 4 Jul 2024 13:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 18:03:13.818532
• Title: Timestep-Aware Correction for Quantized Diffusion Models
• Title（参考訳）: 量子拡散モデルの時間的補正
• Authors: Yuzhe Yao, Feng Tian, Jun Chen, Haonan Lin, Guang Dai, Yong Liu, Jingdong Wang,
• Abstract要約: 本稿では,量子化誤差を動的に補正する量子化拡散モデルの時間ステップ対応補正法を提案する。 提案手法を低精度拡散モデルに応用することにより,出力品質の大幅な向上が期待できる。
• 参考スコア（独自算出の注目度）: 28.265582848911574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have marked a significant breakthrough in the synthesis of semantically coherent images. However, their extensive noise estimation networks and the iterative generation process limit their wider application, particularly on resource-constrained platforms like mobile devices. Existing post-training quantization (PTQ) methods have managed to compress diffusion models to low precision. Nevertheless, due to the iterative nature of diffusion models, quantization errors tend to accumulate throughout the generation process. This accumulation of error becomes particularly problematic in low-precision scenarios, leading to significant distortions in the generated images. We attribute this accumulation issue to two main causes: error propagation and exposure bias. To address these problems, we propose a timestep-aware correction method for quantized diffusion model, which dynamically corrects the quantization error. By leveraging the proposed method in low-precision diffusion models, substantial enhancement of output quality could be achieved with only negligible computation overhead. Extensive experiments underscore our method's effectiveness and generalizability. By employing the proposed correction strategy, we achieve state-of-the-art (SOTA) results on low-precision models.
• Abstract（参考訳）: 拡散モデルは意味的コヒーレントな画像の合成において重要なブレークスルーとなった。 しかし、その広範なノイズ推定ネットワークと反復生成プロセスは、特にモバイルデバイスのようなリソース制約のあるプラットフォームにおいて、より広範なアプリケーションを制限する。 既存のトレーニング後量子化(PTQ)法では,拡散モデルを低精度に圧縮することができた。 しかし、拡散モデルの反復的な性質のため、量子化誤差は生成過程を通して蓄積する傾向にある。 この誤差の蓄積は、低精度のシナリオでは特に問題となり、生成された画像にかなりの歪みをもたらす。 この累積問題は、エラーの伝搬と露出バイアスの2つの主な原因に帰着する。 これらの問題に対処するために,量子化拡散モデルに対する時間ステップ対応補正法を提案し,量子化誤差を動的に補正する。 提案手法を低精度拡散モデルに応用することにより,計算オーバーヘッドを無視できるだけで,出力品質を大幅に向上させることができる。 大規模な実験は、我々の方法の有効性と一般化可能性を強調している。 提案手法を用いることで, 精度の低いモデルに対して, 最先端のSOTA(State-of-the-art)結果が得られる。

関連論文リスト

• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [14.295049174485902]
  拡散モデルは画像生成タスクにおいて顕著な成功を収めてきたが、その実際の展開は高メモリと時間消費によって抑制されている。 本稿では,活性化分布に適応するために,量子化モデルを微調整する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [4.601488148143309]
  量子化はモデルの複雑さを効果的に軽減し、後学習の量子化はデノナイジングプロセスの加速に非常に有望である。 既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。 本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。 EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークより優れている。
  論文  参考訳（メタデータ） (2024-01-09T14:42:49Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• Debias the Training of Diffusion Models [53.49637348771626]
  本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。 理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。 これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
  本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。 提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
  論文  参考訳（メタデータ） (2023-05-30T04:00:35Z)
• Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
  ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。 本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。 提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
  論文  参考訳（メタデータ） (2023-02-08T19:38:59Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。