論文の概要: VLCQ: Post-training quantization for deep neural networks using variable length coding

• arxiv url: http://arxiv.org/abs/2610.15092v1
• Date: Sat, 10 Oct 2026 18:02:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.162677
• Title: VLCQ: Post-training quantization for deep neural networks using variable length coding
• Title（参考訳）: VLCQ:可変長符号化を用いた深部ニューラルネットワークのポストトレーニング量子化
• Abstract要約: トレーニング後の量子化は、オリジナルのデータセットへのアクセスや、完全なモデルの再トレーニングを必要としない。 VLCQは固定点符号化制約を緩和し、量子化技術のより柔軟な探索を可能にする。 画像分類、セグメンテーション、オブジェクト検出の実験は、VLCQがモデル圧縮と精度を改善することを示した。
• 参考スコア（独自算出の注目度）: 0.408056462696545
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Quantization plays a crucial role in efficiently deploying deep learning models on resource-constrained devices. Post-training quantization does not require access to the original dataset or retraining the full model. Current methods that achieve high performance close to baseline results typically require INT8 fixed-point integers. However, achieving higher model compression with lower bit-widths often leads to significant performance degradation. In this paper, we propose VLCQ, a post-training quantization method that relaxes the fixed-point encoding constraint, enabling more flexible exploration of quantization techniques through variable-length encoding. This approach achieves competitive or improved performance while reducing bit-widths, without requiring access to training data or model fine-tuning. Extensive experiments on image classification, segmentation, and object detection demonstrate that VLCQ improves model compression and accuracy compared with state-of-the-art post-training quantization approaches. For per-channel quantization, VLCQ surpasses FP32 accuracy and Piece-Wise Linear Quantization (PWLQ) on most evaluated models, achieving up to 6x compression compared with FP32 and up to 1.7x compared with PWLQ. When prioritizing compression with limited accuracy loss, VLCQ achieves up to 12.25x compression compared with FP32 with less than 4% performance degradation. For per-tensor quantization, VLCQ is competitive with Data-Free Quantization (DFQ), while providing greater flexibility to achieve lower bit rates across different tasks and models.
• Abstract（参考訳）: リソース制約のあるデバイスにディープラーニングモデルを効率的にデプロイする上で、量子化は重要な役割を果たす。 トレーニング後の量子化は、オリジナルのデータセットへのアクセスや、完全なモデルの再トレーニングを必要としない。 ベースラインに近く高いパフォーマンスを達成する現在の方法は、通常INT8固定点整数を必要とする。 しかし、ビット幅を小さくしてより高いモデル圧縮を実現すると、しばしば性能が著しく低下する。 本稿では,定点符号化制約を緩和し,可変長符号化による量子化手法のより柔軟な探索を可能にする後学習量子化手法であるVLCQを提案する。 このアプローチは、トレーニングデータやモデル微調整を必要とせずに、ビット幅を削減しながら、競争力や性能の向上を実現する。 画像分類、セグメンテーション、オブジェクト検出に関する大規模な実験により、VLCQは、最先端のトレーニング後の量子化アプローチと比較して、モデル圧縮と精度を向上させることが示された。 チャネルごとの量子化では、VLCQはFP32の精度を上回り、Piece-Wise Linear Quantization (PWLQ)は最も評価されたモデルで、FP32と比較して最大6倍、PWLQと比較して最大1.7倍の圧縮を実現している。 VLCQは圧縮を精度損失の制限で優先順位付けする際、FP32と比較して最大12.25倍の圧縮を達成し、性能劣化は4%以下である。 テンソル単位の量子化では、VLCQはデータ自由量子化(DFQ)と競合し、異なるタスクやモデル間で低ビットレートを達成するための柔軟性を提供する。

関連論文リスト

• HAMP-LIC: Hessian-Aware Mixed-Precision Post-Training Quantization for Learned Image Compression [0.7614628596146601]
  HAMP-LICは4段階最適化戦略を備えたヘシアン対応の混合精度のポストトレーニング量子化フレームワークである。 既存の固定精度と混合精度のPTQメソッドを複数のデータセットで一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-12T16:41:33Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions [18.749300190253624]
  ベイズ変分学習(SQS)による同時プルーニングと低ビット量子化のための統合フレームワークを提案する。 理論的には、スパースで量子化されたディープニューラルネットワークに対する我々の提案した変分アプローチの一貫性のある結果を提供する。
  論文  参考訳（メタデータ） (2025-10-10T04:54:29Z)
• P4Q: Learning to Prompt for Quantization in Visual-language Models [38.87018242616165]
  量子化のためのPrompt(P4Q)という,微調整と量子化のバランスをとる手法を提案する。 提案手法は,低ビット量子化による画像特徴とテキスト特徴とのギャップを効果的に低減することができる。 私たちの8ビットP4Qは理論上CLIP-ViT/B-32を4$times$で圧縮でき、Top-1の精度は66.94%である。
  論文  参考訳（メタデータ） (2024-09-26T08:31:27Z)
• EfficientDM: Efficient Quantization-Aware Fine-Tuning of Low-Bit Diffusion Models [21.17675493267517]
  ポストトレーニング量子化(PTQ)と量子化学習(QAT)は、拡散モデルを圧縮・加速する2つの主要なアプローチである。 我々は、PTQのような効率でQATレベルの性能を実現するために、EfficientDMと呼ばれる低ビット拡散モデルのためのデータフリーかつパラメータ効率の微調整フレームワークを導入する。 提案手法は, PTQに基づく拡散モデルにおいて, 同様の時間とデータ効率を保ちながら, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-10-05T02:51:53Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Learnable Companding Quantization for Accurate Low-bit Neural Networks [3.655021726150368]
  ディープニューラルネットワークの量子化は、メモリ消費の削減と推論速度の向上に有効な方法である。 非常に低ビットモデルがフル精度モデルに匹敵する精度を達成することは、まだ困難です。 2,3,4ビットモデルのための新しい非一様量子化手法として学習可能なコンパイル量子化(LCQ)を提案する。
  論文  参考訳（メタデータ） (2021-03-12T09:06:52Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。