論文の概要: HGA-Quant: Heterogeneity-Aware Quantization for AutoRegressive Visual Generation Models

• arxiv url: http://arxiv.org/abs/2610.15297v1
• Date: Sun, 11 Oct 2026 03:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.185411
• Title: HGA-Quant: Heterogeneity-Aware Quantization for AutoRegressive Visual Generation Models
• Title（参考訳）: HGA-Quant:自己回帰視覚生成モデルのための不均一性を考慮した量子化
• Abstract要約: トレーニング後の量子化は、AVVGモデルの計算コストとメモリコストを削減できる有望なソリューションを提供する。 ARVG のためのトレーニング不要な PTQ フレームワークを提案し,その構成はTail-Aware bounded-init Grid Refinement と Coarse-to-Fine Activation Precision Scheduling である。 我々のフレームワークは、アグレッシブな低ビット量子化の下で、一貫してロバスト性を改善する。
• 参考スコア（独自算出の注目度）: 44.33333721083929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, AutoRegressive Visual Generation (ARVG) models have emerged as a competitive paradigm for high-quality image synthesis. However, their substantial computational and memory demands make them difficult to deploy on resource-constrained edge devices. Post-Training Quantization (PTQ) provides a promising solution to reduce the computational and memory costs of ARVG models, yet existing methods often suffer from substantial image quality degradation under low-bit quantization. In this paper, we propose a training-free PTQ framework for ARVG, consisting of Tail-Aware Bounded-init Grid Refinement (T-BGR) and Coarse-to-Fine Activation Precision Scheduling (CAPS). T-BGR introduces a tail-aware reconstruction objective for weight quantizer calibration, assigning greater importance to distribution-tail coefficients and preserving fine-grained information without introducing additional parameters or high-precision branches. CAPS performs coarse-to-fine activation precision scheduling by jointly considering the importance and computational cost of different generation stages, enabling efficient mixed-precision allocation under a given bit budget. Extensive experiments on multiple ARVG backbones demonstrate that our framework consistently improves robustness under aggressive low-bit quantization. Notably, on Infinity, our framework achieves near full-precision image generation quality at an effective W4A5.6 activation precision, while existing methods at W4A6 still exhibit noticeable quality degradation or inconsistent performance. Code is available at https://github.com/lxm-lc/HGA-Quant.
• Abstract（参考訳）: 近年,高画質画像合成の競争パラダイムとして,オートレグレッシブ・ビジュアル・ジェネレーション(ARVG)モデルが登場している。 しかし、その相当な計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。 PTQ(Post-Training Quantization)は、AVVGモデルの計算コストとメモリコストを削減できる有望なソリューションを提供するが、既存の手法では、低ビット量子化の下で画像品質の大幅な低下に悩まされることが多い。 本稿では,T-BGR (Tail-Aware bounded-init Grid Refinement) とCAPS (Coarse-to-Fine Activation Precision Scheduling) から構成される ARVG のトレーニングフリー PTQ フレームワークを提案する。 T-BGRは、重み量化器の校正のためのテールアウェアな再構成目標を導入し、分布テール係数をより重要視し、追加パラメータや高精度分岐を導入することなく詳細な情報を保存する。 CAPSは、異なる生成ステージの重要性と計算コストを共同で考慮し、粗大な活性化精度スケジューリングを行い、与えられたビット予算の下で効率的な混合精度割り当てを可能にする。 複数のAVVのバックボーンに対する大規模な実験により、我々のフレームワークは攻撃的な低ビット量子化の下で一貫してロバスト性を向上することを示した。 特に、Infinityでは、有効なW4A5.6アクティベーション精度でほぼ完全精度の画像生成品質を達成する一方、既存のW4A6の手法は目立った品質劣化や一貫性のない性能を示す。 コードはhttps://github.com/lxm-lc/HGA-Quant.comで入手できる。

関連論文リスト

• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Efficient Fine-Tuning of Quantized Models via Adaptive Rank and Bitwidth [10.872650037112255]
  QLoRAは、低ビット量子化とLoRAを効果的に組み合わせて、大規模言語モデル(LLM)のためのメモリフレンドリーな微調整を実現する。 部分キャリブレーションデータを用いて、各層に対する量子化成分と低ランク空間のランクを共同で探索する、統一的かつ勾配のない戦略である textbfQR-Adaptor を提案する。 提案手法はGSM8Kに対して4.89%の精度向上を実現し、4ビット設定のメモリフットプリントを維持しつつ、16ビットの微調整モデルよりも優れるケースもある。
  論文  参考訳（メタデータ） (2025-05-02T08:46:01Z)
• GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
  そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。 我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
  論文  参考訳（メタデータ） (2024-12-07T06:07:21Z)
• Taming 3DGS: High-Quality Radiance Fields with Limited Resources [50.92437599516609]
  3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。 我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
  論文  参考訳（メタデータ） (2024-06-21T20:44:23Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。