論文の概要: TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models
- arxiv url: http://arxiv.org/abs/2404.09532v1
- Date: Mon, 15 Apr 2024 07:51:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 12:20:54.990446
- Title: TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models
- Title(参考訳): TMPQ-DM:効率的な拡散モデルのための共同時間ステップ削減と量子化精度の選択
- Authors: Haojun Sun, Chen Tang, Zhi Wang, Yuan Meng, Jingyan jiang, Xinzhu Ma, Wenwu Zhu,
- Abstract要約: 我々はTMPQ-DMを導入し、タイムステップの削減と量子化を共同で最適化し、優れた性能・効率のトレードオフを実現する。
時間段階の削減のために、デノナイジング過程の非一様性に合わせた非一様グルーピングスキームを考案する。
量子化の観点では、最終的な生成性能に対するそれぞれの貢献に基づいて、異なる層に異なるビット幅を割り当てる、きめ細かいレイヤーワイズアプローチを採用する。
- 参考スコア(独自算出の注目度): 40.5153344875351
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion models have emerged as preeminent contenders in the realm of generative models. Distinguished by their distinctive sequential generative processes, characterized by hundreds or even thousands of timesteps, diffusion models progressively reconstruct images from pure Gaussian noise, with each timestep necessitating full inference of the entire model. However, the substantial computational demands inherent to these models present challenges for deployment, quantization is thus widely used to lower the bit-width for reducing the storage and computing overheads. Current quantization methodologies primarily focus on model-side optimization, disregarding the temporal dimension, such as the length of the timestep sequence, thereby allowing redundant timesteps to continue consuming computational resources, leaving substantial scope for accelerating the generative process. In this paper, we introduce TMPQ-DM, which jointly optimizes timestep reduction and quantization to achieve a superior performance-efficiency trade-off, addressing both temporal and model optimization aspects. For timestep reduction, we devise a non-uniform grouping scheme tailored to the non-uniform nature of the denoising process, thereby mitigating the explosive combinations of timesteps. In terms of quantization, we adopt a fine-grained layer-wise approach to allocate varying bit-widths to different layers based on their respective contributions to the final generative performance, thus rectifying performance degradation observed in prior studies. To expedite the evaluation of fine-grained quantization, we further devise a super-network to serve as a precision solver by leveraging shared quantization results. These two design components are seamlessly integrated within our framework, enabling rapid joint exploration of the exponentially large decision space via a gradient-free evolutionary search algorithm.
- Abstract(参考訳): 拡散モデルは、生成モデルの領域において支配的な競合者として現れてきた。
数百から数千のタイムステップを特徴とする、その特異な連続的な生成過程によって区別される拡散モデルは、純粋なガウスノイズから徐々にイメージを再構築し、各タイムステップはモデル全体の完全な推測を必要とする。
しかしながら、これらのモデルに固有のかなりの計算要求は、配置の課題を示し、量子化は、ストレージと計算オーバーヘッドを減らすためにビット幅を小さくするために広く使用される。
現在の量子化手法は主にモデル側の最適化に重点を置いており、時間列の長さなどの時間次元を無視しているため、冗長な時間ステップが計算資源を消費し続け、生成過程を加速するためのかなりのスコープを残している。
本稿では,TMPQ-DMを提案する。このTMPQ-DMは,時間的・モデル的最適化の両面に対処し,時間的削減と量子化を両立させ,優れた性能・効率のトレードオフを実現する。
時間ステップ削減のために,非均一なグループ化手法をデノナイジングプロセスの非均一性に合わせて考案し,時間ステップの爆発的組み合わせを緩和する。
量子化の観点では、最終生成性能に対するそれぞれの貢献に基づいて異なる層に異なるビット幅を割り当てる、きめ細かい層幅のアプローチを採用し、先行研究で観測された性能劣化を是正する。
微粒化量子化の評価を迅速化するために,共有量子化結果を活用することで,高精度な解法として機能するスーパーネットワークを考案する。
これらの2つの設計要素は、我々のフレームワークにシームレスに統合され、勾配のない進化的探索アルゴリズムを用いて指数関数的に大きな決定空間を迅速に探索することができる。
関連論文リスト
- Diffusion Model-Based Multiobjective Optimization for Gasoline Blending
Scheduling [30.040728803996256]
ガソリンブレンドスケジューリングは、精製所の生産要求を満たすためにリソース割り当てとオペレーションシークエンシングを使用する。
非線形性、整数制約、および多数の決定変数の存在は、この問題に複雑さをもたらす。
本稿では拡散モデル(DMO)により駆動される新しい多目的最適化手法を提案する。
論文 参考訳(メタデータ) (2024-02-04T05:46:28Z) - Enhanced Distribution Alignment for Post-Training Quantization of
Diffusion Models [4.601488148143309]
量子化はモデルの複雑さを効果的に軽減し、後学習の量子化はデノナイジングプロセスの加速に非常に有望である。
既存の拡散モデルのPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。
本稿では,拡散モデル(EDA-DM)の学習後量子化のための分散アライメントの強化について述べる。
EDA-DMは、未条件および条件付き両方のシナリオにおいて、既存のトレーニング後の量子化フレームワークより優れている。
論文 参考訳(メタデータ) (2024-01-09T14:42:49Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳(メタデータ) (2023-11-27T12:59:52Z) - Towards Accurate Post-training Quantization for Diffusion Models [73.19871905102545]
本稿では,効率的な画像生成のための拡散モデル(ADP-DM)の高精度なデータフリーポストトレーニング量子化フレームワークを提案する。
提案手法は, 拡散モデルの学習後の量子化を, 同様の計算コストで, 非常に大きなマージンで高速化する。
論文 参考訳(メタデータ) (2023-05-30T04:00:35Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Latent Autoregressive Source Separation [5.871054749661012]
本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。
分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
論文 参考訳(メタデータ) (2023-01-09T17:32:00Z) - Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。
我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
論文 参考訳(メタデータ) (2022-12-01T02:26:34Z) - Accelerating Score-based Generative Models with Preconditioned Diffusion
Sampling [36.02321871608158]
本稿では,行列プレコンディショニングを利用して問題を緩和するPDS法を提案する。
PDSは、合成品質を維持しながら、棚外のSGMを継続的に加速する。
特に、PSDはより難しい高解像度(1024x1024)の画像生成で最大29倍加速することができる。
論文 参考訳(メタデータ) (2022-07-05T17:55:42Z) - Traversing Time with Multi-Resolution Gaussian Process State-Space
Models [17.42262122708566]
本稿では,複数のコンポーネントで構成されたガウス的プロセス状態空間アーキテクチャを提案する。
半合成データとエンジンモデリングタスクに新しい手法をベンチマークする。
どちらの実験でも、我々のアプローチは1つの時間スケールでしか動作しない最先端の代替手段と良好に比較できる。
論文 参考訳(メタデータ) (2021-12-06T18:39:27Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳(メタデータ) (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。