論文の概要: SQuAT: Spherical Lattice Vector Quantization-Aware Training

• arxiv url: http://arxiv.org/abs/2610.31412v1
• Date: Thu, 22 Oct 2026 15:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.420885
• Title: SQuAT: Spherical Lattice Vector Quantization-Aware Training
• Title（参考訳）: SQuAT: Spherical Lattice Vector Quantization-Aware Training
• Abstract要約: 形状と利得の異なるストレートスルー推定器を用いて学習した形状ゲイン型VQ-QAT手法であるSQuATを紹介する。 完全量子化器に適用される標準のSTEとは異なり、これらの分離されたSTEは方向の接空間更新を誘導する。 労働者は不随意の重みブロックを定量化し、離散的な指標のみを伝達する分散的最近傍割当方式を開発した。
• 参考スコア（独自算出の注目度）: 15.825370769767403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector quantization (VQ), in particular lattice-based methods, offer strong rate-distortion trade-offs for low-bit large language models (LLMs), yet their behavior under quantization-aware training (VQ-QAT) remains poorly understood. We scale lattice VQ-QAT to billion-parameter LLMs and multi-billion-token training regimes, and introduce SQuAT, a shape-gain VQ-QAT approach trained with a separate straight-through estimator (STE) for the shape and gain. SQuAT decomposes weights into direction and magnitude: normalized directions are quantized using an $E_8$-derived spherical codebook, while gains are quantized independently with low-bit scalar quantizers. We show that, unlike a standard STE applied to the full quantizer, which ignores the shape-gain structure, these separate STEs induce tangent-space updates for directions, yielding an implicit form of spherical (Riemannian) optimization. To enable scalability, we develop a distributed exact nearest-neighbor assignment scheme, in which workers quantize disjoint weight blocks and communicate only discrete indices, reducing VQ-QAT training time by 12.8$\times$ and allowing us to scale it to 10B tokens. Across instruction-tuned LLaMA-3.2-1B/3B, Qwen3-4B, and base Qwen3-1.7B, SQuAT consistently outperforms standard VQ-QAT STE under identical quantizers and initialization, and achieves SOTA VQ-QAT accuracy.
• Abstract（参考訳）: ベクトル量子化(VQ)、特に格子に基づく手法は、低ビット大言語モデル(LLM)に対して強い速度歪みのトレードオフを提供するが、量子化対応トレーニング(VQ-QAT)におけるそれらの振る舞いはよく理解されていない。 格子VQ-QATを10億パラメータのLLMとマルチビリオントーケンのトレーニングシステムに拡張し、形状と利得の異なるストレートスルー推定器(STE)を用いてトレーニングされた形状ゲイン型VQ-QATアプローチであるSQuATを導入する。 SQuATは重みを方向と大きさに分解する:正規化方向は$E_8$由来の球面コードブックを使って量子化し、ゲインは低ビットスカラー量子化器と独立して量子化する。 形状ゲイン構造を無視する全量子化器に適用される標準STEとは異なり、これらの分離STEは方向の接空間更新を誘導し、球面(リーマン)最適化の暗黙の形式を生成する。 スケーラビリティを実現するために、労働者が不整合重みブロックを定量化し、離散的な指標のみを通信し、VQ-QATトレーニング時間を12.8$\times$に短縮し、それを10Bトークンに拡張する分散的最寄りの割当て方式を開発した。 LLaMA-3.2-1B/3B、Qwen3-4B、ベースQwen3-1.7Bの順に、SQuATは標準VQ-QAT STEを同じ量化と初期化で一貫して上回り、SOTA VQ-QAT精度を達成する。

関連論文リスト

• UniSVQ: 2-bit Unified Scalar-Vector Quantization [48.190936990215384]
  2ビットレベルのトレーニング後の量子化により、大規模言語モデルに対する低コストなデプロイメントと推論アクセラレーションが可能になる。 整数格子のアフィン変換としてコードワードをパラメータ化することでスカラーおよびベクトル量子化をブリッジする2ビット統一量子化フレームワークUniSVQを提案する。
  論文  参考訳（メタデータ） (2026-06-09T07:50:52Z)
• JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates [9.03449876943648]
  QAT(quantization-aware training)は広く展開されているが、通常はSTE(Straight-Through Estimator)に依存している。 これにより、ビン付近でトレーニングを行ない、実際の低精度モデルと弱く整合することが多い。 JacQuantは軽量な代理モデルのパラメータ変化に対する局所感度を学習するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T06:19:49Z)
• GSQ: Highly-Accurate Low-Precision Scalar Quantization for LLMs via Gumbel-Softmax Sampling [36.47926569464477]
  GSQ(Gumbel-Softmax Quantization)は,グループ単位のグリッド割り当てとグループ単位のスケールを協調的に学習する,学習後のスカラー量子化手法である。 標準のLlama-3.1-8B/70B-Instructモデルでは、GSQはスカラー量子化とQTIPフロンティアの差の大部分を2ビットと3ビットで閉じている。 GSQは,ベクトル量子化法の適用が困難なKim-K2.5のような1兆倍スケールのMixture-of-Expertsモデルにスケールすることを示す。
  論文  参考訳（メタデータ） (2026-04-20T17:45:47Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• Histogram-Equalized Quantization for logic-gated Residual Neural Networks [2.7036595757881323]
  ヒストグラム等化量子化(HEQ)は線形対称量子化のための適応的なフレームワークである。 HEQは独自のステップサイズ最適化を用いて量子化しきい値を自動的に適応する。 STL-10データセットの実験では、HEQが提案した論理ゲート(OR, MUX)残差ネットワークの適切なトレーニングを可能にすることも示している。
  論文  参考訳（メタデータ） (2025-01-08T14:06:07Z)
• SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization [13.075574481614478]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)の注目すべき問題は、学習された離散表現がコードブックの全容量のごく一部しか使用していないことである。 本稿では,新しい量子化法と量子化法により,標準VAEを拡張した新しいトレーニング手法を提案する。 実験の結果,SQ-VAEはコモンズを使わずにコードブックの利用を改善することがわかった。
  論文  参考訳（メタデータ） (2022-05-16T09:49:37Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。