論文の概要: AdaTSQ: Pushing the Pareto Frontier of Diffusion Transformers via Temporal-Sensitivity Quantization

• arxiv url: http://arxiv.org/abs/2602.09883v1
• Date: Tue, 10 Feb 2026 15:23:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.63925
• Title: AdaTSQ: Pushing the Pareto Frontier of Diffusion Transformers via Temporal-Sensitivity Quantization
• Title（参考訳）: AdaTSQ: 時間感度量子化による拡散変換器のパレートフロンティアのプッシュ
• Authors: Shaoqiu Zhang, Zizhong Ding, Kaicheng Yang, Junyi Wu, Xianglong Yan, Xi Li, Bingnan Duan, Jianping Fang, Yulun Zhang,
• Abstract要約: 拡散変換器(DiT)は、高忠実度画像とビデオ生成のための最先端のバックボーンとして登場した。 後学習量子化(PTQ)は、大規模言語モデル(LLM)に有効であることが証明された。 本稿では,DiTの時間感度を利用して効率と品質のフロンティアを推し進める新しいPTQフレームワークであるAdaTSQを提案する。
• 参考スコア（独自算出の注目度）: 22.45250803905198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) have emerged as the state-of-the-art backbone for high-fidelity image and video generation. However, their massive computational cost and memory footprint hinder deployment on edge devices. While post-training quantization (PTQ) has proven effective for large language models (LLMs), directly applying existing methods to DiTs yields suboptimal results due to the neglect of the unique temporal dynamics inherent in diffusion processes. In this paper, we propose AdaTSQ, a novel PTQ framework that pushes the Pareto frontier of efficiency and quality by exploiting the temporal sensitivity of DiTs. First, we propose a Pareto-aware timestep-dynamic bit-width allocation strategy. We model the quantization policy search as a constrained pathfinding problem. We utilize a beam search algorithm guided by end-to-end reconstruction error to dynamically assign layer-wise bit-widths across different timesteps. Second, we propose a Fisher-guided temporal calibration mechanism. It leverages temporal Fisher information to prioritize calibration data from highly sensitive timesteps, seamlessly integrating with Hessian-based weight optimization. Extensive experiments on four advanced DiTs (e.g., Flux-Dev, Flux-Schnell, Z-Image, and Wan2.1) demonstrate that AdaTSQ significantly outperforms state-of-the-art methods like SVDQuant and ViDiT-Q. Our code will be released at https://github.com/Qiushao-E/AdaTSQ.
• Abstract（参考訳）: 拡散変換器(DiT)は、高忠実度画像とビデオ生成のための最先端のバックボーンとして登場した。 しかし、その膨大な計算コストとメモリフットプリントは、エッジデバイスへのデプロイを妨げる。 ポストトレーニング量子化(PTQ)は大規模言語モデル(LLM)に有効であることが証明されているが、拡散過程に固有の時間的ダイナミクスを無視するため、既存の手法を直接DiTに適用すると、最適以下の結果が得られる。 本稿では,DiTの時間感度を利用して効率と品質のParetoフロンティアを推し進める新しいPTQフレームワークであるAdaTSQを提案する。 まず,パレート対応の時間ステップ動的ビット幅割り当て戦略を提案する。 我々は、量子化ポリシー探索を制約付きパスフィンディング問題としてモデル化する。 我々は、エンド・ツー・エンドの再構成誤差によって導かれるビーム探索アルゴリズムを用いて、異なるタイムステップにまたがる層幅のビット幅を動的に割り当てる。 第2に,フィッシャー誘導型時間校正機構を提案する。 時間的フィッシャー情報を利用して、高度に敏感な時間ステップからキャリブレーションデータを優先順位付けし、ヘッセンの重み最適化とシームレスに統合する。 4つの高度なDiT(例えば、Flux-Dev、Flux-Schnell、Z-Image、Wan2.1)に対する大規模な実験は、AdaTSQがSVDQuantやViDiT-Qのような最先端の手法よりも著しく優れていることを示した。 私たちのコードはhttps://github.com/Qiushao-E/AdaTSQ.comでリリースされます。

関連論文リスト

• LRQ-DiT: Log-Rotation Post-Training Quantization of Diffusion Transformers for Image and Video Generation [41.66473889057111]
  Diffusion Transformer (DiTs) は、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成において、優れたパフォーマンスを実現している。 DiTsの高計算コストと大きなパラメータサイズは、リソース制約のあるシナリオでの利用に重大な課題をもたらす。 本稿では,映像・映像生成のための学習後量子化フレームワークLRQ-DiTを提案する。
  論文  参考訳（メタデータ） (2025-08-05T14:16:11Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
  Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。 我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:28:10Z)
• Q-DiT: Accurate Post-Training Quantization for Diffusion Transformers [45.762142897697366]
  ポストトレーニング量子化(PTQ)は有望なソリューションとして登場し、事前訓練されたモデルに対するモデル圧縮と高速化推論を可能にする。 DiT量子化の研究は依然として不十分であり、既存のPTQフレームワークは偏りのある量子化に悩まされがちである。 入力チャネル間での重みとアクティベーションの有意な分散を扱うための自動量子化粒度割当と、タイムステップとサンプルの両方にわたるアクティベーション変化を適応的にキャプチャする標本ワイド動的アクティベーション量子化という、2つの重要な手法をシームレスに統合する新しいアプローチであるQ-DiTを提案する。
  論文  参考訳（メタデータ） (2024-06-25T07:57:27Z)
• PTQ4DiT: Post-training Quantization for Diffusion Transformers [52.902071948957186]
  ポストトレーニング量子化(PTQ)は、計算とメモリフットプリントを大幅に削減できる高速でデータ効率のソリューションとして登場した。 提案するPTQ4DiTは,DiTのための特別に設計されたPTQ手法である。 PTQ4DiTは8ビットの精度でDiTの量子化に成功した。
  論文  参考訳（メタデータ） (2024-05-25T02:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。