論文の概要: STaR-Quant: State-Time Consistent Post-Training Quantization for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2606.04945v1
• Date: Wed, 03 Jun 2026 14:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.828568
• Title: STaR-Quant: State-Time Consistent Post-Training Quantization for Diffusion Large Language Models
• Title（参考訳）: STaR-Quant:拡散大言語モデルのための状態時間連続後学習量子化
• Authors: Xin Yan, Aqiang Wang, Zhenglin Wan, Xingrui Yuand Ivor Tsang,
• Abstract要約: 本稿では,DLLMのための状態時間一貫したPTQフレームワークSTaR-Quantを提案する。 STaR-Quantは、強いPTQベースライン上での低ビット重量活性化量子化を一貫して改善する。 最大1.69倍のスピードアップと3.14倍のメモリ節約を実現している。
• 参考スコア（独自算出の注目度）: 4.885217497915749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion large language models (DLLMs) have recently emerged as a promising alternative to autoregressive LLMs by generating text through iterative masked denoising with bidirectional context. However, their large model sizes and iterative denoising process introduce substantial memory and computational overhead, motivating post-training quantization for efficient deployment. In this paper, we identify two key challenges for low-bit DLLM quantization: state-dependent activation disparity and temporal error accumulation. Masked and unmasked tokens exhibit different activation distributions within each denoising step, while quantization errors can accumulate across steps during iterative decoding. To address these challenges, we propose STaR-Quant, a state-time consistent PTQ framework for DLLMs. STaR-Quant introduces State-Guided Activation Transformation (SGAT) to assign masked and unmasked tokens to different activation transformation spaces with a unified static weight-side transformation. It further introduces Temporal Attention Compensation (TAC) to correct the quantized attention representation via a lightweight block-diagonal affine mapping. Experiments on representative DLLMs demonstrate that STaR-Quant consistently improves low-bit weight-activation quantization over strong PTQ baselines, while delivering up to 1.69x speedup and 3.14x memory saving over FP16 deployment.
• Abstract（参考訳）: 拡散型大規模言語モデル (DLLM) は, 双方向コンテキストによる反復的マスキングによるテキスト生成により, 自己回帰型LLMに代わる有望な代替品として最近登場した。 しかし、その大きなモデルサイズと反復的なデノベーションプロセスは、メモリと計算のオーバーヘッドを大幅に増加させ、効率的なデプロイメントのためにトレーニング後の量子化を動機付けている。 本稿では,低ビットDLLM量子化における2つの重要な課題,すなわち状態依存的アクティベーションの相違と時間的誤差の蓄積について述べる。 マスケとアンマスケのトークンは各デノナイジングステップ内で異なるアクティベーション分布を示し、量子化エラーは反復復号中にステップ間で蓄積される。 これらの課題に対処するため、DLLMのための状態時間一貫したPTQフレームワークSTaR-Quantを提案する。 STaR-Quantは、SGAT(State-Guided Activation Transformation)を導入し、マスク付きトークンとマスクなしトークンを、統一された静的ウェイト側変換で異なるアクティベーション変換空間に割り当てる。 さらにTAC(Temporal Attention Compensation)を導入し、軽量なブロック対角アフィンマッピングによって量子化されたアテンション表現を補正する。 典型的なDLLMの実験では、STaR-Quantは強力なPTQベースライン上での低ビット重量活性化量子化を一貫して改善し、FP16デプロイメント上で最大1.69倍のスピードアップと3.14倍のメモリ節約を実現している。

関連論文リスト

• DA-PTQ: Drift-Aware Post-Training Quantization for Efficient Vision-Language-Action Models [61.26694413585136]
  DA-PTQ (Drift-Aware Post-Training Quantization) は、逐次決定過程に対するドリフト-アウェア最適化問題として量子化を定式化する。 DA-PTQはキネマティックドリフトを著しく低減し、低ビット設定下での完全精度モデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2026-04-13T14:51:43Z)
• FreeAct: Freeing Activations for LLM Quantization [89.97086263978058]
  量子化は、大規模言語モデルの重要なメモリと計算オーバーヘッドを軽減するために重要である。 FreeActは静的な1対1の制約を緩和し、動的アクティベーションの格差を緩和する新しい量子化フレームワークである。 dLLMとMLLMでの実験では、FreeActはベースラインを大幅に上回り、パフォーマンスは最大5.3%向上した。
  論文  参考訳（メタデータ） (2026-03-02T12:02:17Z)
• STaMP: Sequence Transformation and Mixed Precision for Low-Precision Activation Quantization [21.93314755695813]
  量子化は、生成AIモデルの推論レイテンシ、電力、メモリフットプリントを低減するための重要な方法である。 テキストシーケンス変換と混合精度(STaMP)量子化を提案する。
  論文  参考訳（メタデータ） (2025-10-30T17:53:42Z)
• DLLMQuant: Quantizing Diffusion-based Large Language Models [15.318057331535982]
  拡散に基づく大規模言語モデル(Ms)は、非自己回帰的なテキスト生成を約束している。 ポストトレーニング量子化(PTQ)は、アロケーションMに適用した場合、精度が著しく低下し、性能が低下する。 3つの新しい技法を取り入れたPTQフレームワークであるMQuantを提案する。
  論文  参考訳（メタデータ） (2025-08-14T09:30:17Z)
• LRQ-DiT: Log-Rotation Post-Training Quantization of Diffusion Transformers for Image and Video Generation [41.66473889057111]
  Diffusion Transformer (DiTs) は、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成において、優れたパフォーマンスを実現している。 DiTsの高計算コストと大きなパラメータサイズは、リソース制約のあるシナリオでの利用に重大な課題をもたらす。 本稿では,映像・映像生成のための学習後量子化フレームワークLRQ-DiTを提案する。
  論文  参考訳（メタデータ） (2025-08-05T14:16:11Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。