論文の概要: Temporal Feature Matters: A Framework for Diffusion Model Quantization

• arxiv url: http://arxiv.org/abs/2407.19547v1
• Date: Sun, 28 Jul 2024 17:46:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 17:42:21.012662
• Title: Temporal Feature Matters: A Framework for Diffusion Model Quantization
• Title（参考訳）: 時間的特徴:拡散モデル量子化のためのフレームワーク
• Authors: Yushi Huang, Ruihao Gong, Xianglong Liu, Jing Liu, Yuhang Li, Jiwen Lu, Dacheng Tao,
• Abstract要約: トレーニング後の量子化(PTQ)は、従来のモデルでこれらの問題に対処するために不可欠である。 本稿では,時間情報の大半を保存し,高品質なエンドツーエンド生成を実現する新しい量子化フレームワークを提案する。 特に,本手法は4ビット量子化下での完全精度モデルの性能と密接に一致している。
• 参考スコア（独自算出の注目度）: 105.3033493564844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Diffusion models, widely used for image generation, face significant challenges related to their broad applicability due to prolonged inference times and high memory demands. Efficient Post-Training Quantization (PTQ) is crucial to address these issues in traditional models. Unlike those models, diffusion models critically rely on the time-step $t$ for effective multi-round denoising. Typically, $t$ from the finite set $\{1, \ldots, T\}$ is encoded into a hypersensitive temporal feature by several modules, entirely independent of the sampling data. However, existing PTQ methods do not optimize these modules individually. Instead, they employ unsuitable reconstruction objectives and complex calibration methods, leading to significant disturbances in the temporal feature and denoising trajectory. To address these challenges, we introduce a novel quantization framework: 1)~TIB-based Maintenance: Based on our innovative Temporal Information Block~(TIB) definition, Temporal Information-aware Reconstruction~(TIAR) and Finite Set Calibration~(FSC) are developed to efficiently align full precision temporal features. 2)~Cache-based Maintenance: Instead of indirect and complex optimization for the related modules, pre-computing and caching quantized counterparts of temporal features are developed to minimize errors. 3)~Disturbance-aware Selection: Employ temporal feature errors to guide a fine-grained selection for superior maintenance. This framework preserves most of the temporal information and ensures high-quality end-to-end generation. Extensive testing on various datasets and diffusion models confirms our superior results. Notably, our approach closely matches the performance of the full-precision model under 4-bit quantization. Furthermore, the quantized SD-XL model achieves hardware acceleration of 2.20$\times$ on CPU and 5.76$\times$ on GPU demonstrating its efficiency.
• Abstract（参考訳）: Diffusionモデルは画像生成に広く使われており、長期の推論時間と高いメモリ要求により、その適用性に大きな課題に直面している。 トレーニング後の効率的な量子化(PTQ)は、従来のモデルでこれらの問題に対処するために不可欠である。 これらのモデルとは異なり、拡散モデルは効果的なマルチラウンド・デノジングのために時間ステップ$t$に批判的に依存する。 典型的には、有限集合 $\{1, \ldots, T\}$ から$t$ は、サンプリングデータから完全に独立な複数の加群によって超感度時間的特徴に符号化される。 しかし、既存のPTQメソッドはこれらのモジュールを個別に最適化しない。 代わりに、それらは不適切な再建目的と複雑な校正方法を採用し、時間的特徴の著しい乱れと軌跡の認知に繋がる。 1)〜TIBベースの保守:我々の革新的な時間情報ブロック~(TIB)定義に基づき、時間情報認識再構成〜(TIAR)と有限セット校正〜(FSC)を効率よく整合させるために開発する。 2)～Cacheベースのメンテナンス: 関連するモジュールの間接的かつ複雑な最適化の代わりに、時間的特徴の量子化処理とキャッシュが、エラーを最小限に抑えるために開発されている。 3) 障害対応選択: 時間的特徴誤差を利用して、より優れたメンテナンスのためのきめ細かい選択を導出する。 このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。 各種データセットおよび拡散モデルに対する広範囲な試験により,優れた結果が得られた。 特に,本手法は4ビット量子化下での完全精度モデルの性能と密接に一致している。 さらに、量子化されたSD-XLモデルは、CPU上で2.20$\times$とGPU上で5.76$\times$のハードウェアアクセラレーションを達成する。

関連論文リスト

• Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
  時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。 既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。 本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
  論文  参考訳（メタデータ） (2024-11-14T07:34:31Z)
• HarmoniCa: Harmonizing Training and Inference for Better Feature Cache in Diffusion Transformer Acceleration [18.170285241800798]
  本稿では,新しい学習ベースキャッシングフレームワークを用いて,学習と推論を調和させる新しい手法を提案する。 従来の訓練パラダイムと比較して、新たに提案されたSDTは、認知プロセスの継続性を維持している。 IEPOは効率的なプロキシメカニズムを統合して、キャッシュされた機能の再使用による最終的な画像エラーを近似する。
  論文  参考訳（メタデータ） (2024-10-02T16:34:29Z)
• TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models [40.5153344875351]
  我々はTMPQ-DMを導入し、タイムステップの削減と量子化を共同で最適化し、優れた性能・効率のトレードオフを実現する。 時間段階の削減のために、デノナイジング過程の非一様性に合わせた非一様グルーピングスキームを考案する。 量子化の観点では、最終的な生成性能に対するそれぞれの貢献に基づいて、異なる層に異なるビット幅を割り当てる、きめ細かいレイヤーワイズアプローチを採用する。
  論文  参考訳（メタデータ） (2024-04-15T07:51:40Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,現行手法の有効性を損なう量子拡散モデルの3つの特性を実証的に明らかにする。 重要な時間的情報を保持する層と、ビット幅の低減に敏感な層という、2つの重要なタイプの量子化層を同定する。 提案手法は,3つの高分解能画像生成タスクに対して評価し,様々なビット幅設定で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• FRDiff : Feature Reuse for Universal Training-free Acceleration of Diffusion Models [16.940023904740585]
  拡散モデルに固有の時間的冗長性を活用する高度な加速手法を提案する。 時間的類似度の高い特徴マップの再利用は、出力品質を損なうことなく計算資源を節約する新たな機会を開く。
  論文  参考訳（メタデータ） (2023-12-06T14:24:26Z)
• TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
  拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。 本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。 先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
  論文  参考訳（メタデータ） (2023-11-27T12:59:52Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。