論文の概要: Trainable Vector Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.41822v1
• Date: Fri, 30 Oct 2026 14:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.7763
• Title: Trainable Vector Quantization for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのトレーニング可能なベクトル量子化
• Abstract要約: 本稿では,ベクトル量子化モデルの勾配降下に基づく最適化を実現するために,ストレートスルー推定を利用する新しい手法であるTVQを提案する。 TVQは、トレーニング後の低ビット量子化設定において、控えめなトレーニング予算と簡単なPyTorch実装で最先端の品質を実現する。
• 参考スコア（独自算出の注目度）: 0.14777718769290527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector Quantization (VQ) is a rapidly evolving technique for compressing Large Language Model (LLM) weights, reducing memory usage, and speeding up inference. However, extreme compression deteriorates model performance, which is challenging to recover due to the discrete nature of VQ parameters. Existing methods employ training-free approaches that are limited to layer-wise reconstruction loss minimization. To address this limitation, we propose TVQ, a novel method that leverages straight-through estimation to enable gradient descent-based optimization of vector-quantized LLMs. By reformulating VQ LLM optimization with trainable latent weights, TVQ enables arbitrary objective minimization. We constitute our approach by applying TVQ in a block-wise knowledge distillation paradigm, which balances quality and training efficiency, and propose several practical solutions to accelerate training. In experiments on modern LLMs, we demonstrate that TVQ is compatible with modern VQ schemes. As a result, TVQ achieves state-of-the-art quality in low-bit post-training quantization settings with a modest training budget and straightforward PyTorch implementation. For instance, TVQ achieves near-lossless 2-bit quantization for LLaMA2-70B with only 1% accuracy drop on popular Question-Answering benchmarks.
• Abstract（参考訳）: ベクトル量子化(VQ)は、LLM(Large Language Model)重みを圧縮し、メモリ使用量を減らし、推論を高速化する手法である。 しかしながら、極端な圧縮はモデル性能を悪化させ、VQパラメータの離散的な性質のため回復が困難である。 既存の手法では、レイヤワイドリコンストラクション損失最小化に制限のある、トレーニング不要なアプローチを採用している。 この制限に対処するため,ベクトル量子化LLMの勾配降下に基づく最適化を実現するために,ストレートスルー推定を利用する新しい手法であるTVQを提案する。 トレーニング可能な遅延重み付きVQ LLM最適化を再構成することにより、TVQは任意の目的最小化を可能にする。 我々は,品質とトレーニング効率のバランスをとるブロックワイドな知識蒸留パラダイムにTVQを適用し,トレーニングを加速するための実践的なソリューションを提案する。 現代のLLMの実験では、TVQは現代のVQスキームと互換性があることが示されている。 その結果、TVQはトレーニング後の低ビット量子化設定において、適度なトレーニング予算と簡単なPyTorch実装で最先端の品質を実現する。 例えば、TVQはLLaMA2-70Bのほぼロスレスな2ビット量子化を実現している。

関連論文リスト

• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• P4Q: Learning to Prompt for Quantization in Visual-language Models [38.87018242616165]
  量子化のためのPrompt(P4Q)という,微調整と量子化のバランスをとる手法を提案する。 提案手法は,低ビット量子化による画像特徴とテキスト特徴とのギャップを効果的に低減することができる。 私たちの8ビットP4Qは理論上CLIP-ViT/B-32を4$times$で圧縮でき、Top-1の精度は66.94%である。
  論文  参考訳（メタデータ） (2024-09-26T08:31:27Z)
• QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models [44.515165695546614]
  量子化アウェアトレーニング(QAT)はソリューションを提供するが、トレーニング後の量子化(PTQ)は大規模言語モデル(LLM)のより実践的なアプローチとなる。 LLM向けに設計された高精度かつ効率的な低ビット幅PTQ法QLLMを提案する。
  論文  参考訳（メタデータ） (2023-10-12T05:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。