論文の概要: Temporal Feature Matters: A Framework for Diffusion Model Quantization
- arxiv url: http://arxiv.org/abs/2407.19547v2
- Date: Wed, 7 Aug 2024 20:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 17:49:51.609866
- Title: Temporal Feature Matters: A Framework for Diffusion Model Quantization
- Title(参考訳): 時間的特徴:拡散モデル量子化のためのフレームワーク
- Authors: Yushi Huang, Ruihao Gong, Xianglong Liu, Jing Liu, Yuhang Li, Jiwen Lu, Dacheng Tao,
- Abstract要約: 拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
- 参考スコア(独自算出の注目度): 105.3033493564844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Diffusion models, widely used for image generation, face significant challenges related to their broad applicability due to prolonged inference times and high memory demands. Efficient Post-Training Quantization (PTQ) is crucial to address these issues. However, unlike traditional models, diffusion models critically rely on the time-step for the multi-round denoising. Typically, each time-step is encoded into a hypersensitive temporal feature by several modules. Despite this, existing PTQ methods do not optimize these modules individually. Instead, they employ unsuitable reconstruction objectives and complex calibration methods, leading to significant disturbances in the temporal feature and denoising trajectory, as well as reduced compression efficiency. To address these challenges, we introduce a novel quantization framework that includes three strategies: 1) TIB-based Maintenance: Based on our innovative Temporal Information Block (TIB) definition, Temporal Information-aware Reconstruction (TIAR) and Finite Set Calibration (FSC) are developed to efficiently align original temporal features. 2) Cache-based Maintenance: Instead of indirect and complex optimization for the related modules, pre-computing and caching quantized counterparts of temporal features are developed to minimize errors. 3) Disturbance-aware Selection: Employ temporal feature errors to guide a fine-grained selection between the two maintenance strategies for further disturbance reduction. This framework preserves most of the temporal information and ensures high-quality end-to-end generation. Extensive testing on various datasets, diffusion models and hardware confirms our superior performance and acceleration..
- Abstract(参考訳): Diffusionモデルは画像生成に広く使われており、長期の推論時間と高いメモリ要求により、その適用性に大きな課題に直面している。
これらの問題に対処するためには、効率的なポストトレーニング量子化(PTQ)が不可欠である。
しかし、従来のモデルとは異なり、拡散モデルはマルチラウンド・デノゲーションの時間ステップに大きく依存している。
通常、各時間ステップは複数のモジュールによって超敏感な時間的特徴に符号化される。
それにもかかわらず、既存のPTQメソッドはこれらのモジュールを個別に最適化しない。
代わりに、それらは不適切な再建目的と複雑な校正手法を採用しており、時間的特徴の著しい乱れと軌道の偏り、圧縮効率の低下につながっている。
これらの課題に対処するため、我々は3つの戦略を含む新しい量子化フレームワークを導入した。
1)TIBに基づく保守:我々の革新的な時間情報ブロック(TIB)の定義に基づき、時間情報認識再構成(TIAR)と有限セット校正(FSC)を開発し、元の時間的特徴を効率的に整合させる。
2) キャッシュベースのメンテナンス: 関連するモジュールの間接的かつ複雑な最適化の代わりに,時間的特徴の量子化処理とキャッシュが開発され,エラーを最小限に抑える。
3) 外乱認識選択: 時間的特徴誤差を用いて, 更なる外乱低減のための2つの保守戦略間のきめ細かい選択を導出する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
様々なデータセット、拡散モデル、ハードウェアの大規模なテストにより、我々の優れた性能と加速度が確認されます。
と。
関連論文リスト
- TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models [40.5153344875351]
我々はTMPQ-DMを導入し、タイムステップの削減と量子化を共同で最適化し、優れた性能・効率のトレードオフを実現する。
時間段階の削減のために、デノナイジング過程の非一様性に合わせた非一様グルーピングスキームを考案する。
量子化の観点では、最終的な生成性能に対するそれぞれの貢献に基づいて、異なる層に異なるビット幅を割り当てる、きめ細かいレイヤーワイズアプローチを採用する。
論文 参考訳(メタデータ) (2024-04-15T07:51:40Z) - Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。
提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2024-01-09T03:42:08Z) - DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。
DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。
同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
論文 参考訳(メタデータ) (2023-12-01T17:01:06Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳(メタデータ) (2023-11-27T12:59:52Z) - Multi-fidelity reduced-order surrogate modeling [5.346062841242067]
我々は,次元削減と多要素ニューラルネットワークのサロゲートを組み合わせた新しいデータ駆動型戦略を提案する。
このサロゲート法により不安定性と過渡性の開始が良好に捉えられることを示す。
論文 参考訳(メタデータ) (2023-09-01T08:16:53Z) - Latent Autoregressive Source Separation [5.871054749661012]
本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。
分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
論文 参考訳(メタデータ) (2023-01-09T17:32:00Z) - STIP: A SpatioTemporal Information-Preserving and Perception-Augmented
Model for High-Resolution Video Prediction [78.129039340528]
本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。
提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。
実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
論文 参考訳(メタデータ) (2022-06-09T09:49:04Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。