論文の概要: SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.24875v1
• Date: Mon, 21 Sep 2026 16:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.417218
• Title: SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models
• Title（参考訳）: SPHQuant:視覚言語モデルのための高効率極低ビット量量子化
• Abstract要約: 視覚言語モデルのための回転自由球面量のみの量子化フレームワークを提案する。 カルテシアン座標に直接重みを量子化する代わりに、各8次元重みベクトルを座標記号、半径、正の単位方向に分解する。 実験により、最先端の極低ビット量子化法の性能と一致することが示された。
• 参考スコア（独自算出の注目度）: 39.24504021613771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent foundation models are moving toward native multimodal Vision-Language Models (VLMs), making VLMs a central form of next-generation foundation models. However, their large language backbones make edge deployment difficult due to high memory footprint and memory-bound autoregressive decoding. Weight-only post-training quantization is a practical solution, but pushing VLMs to extreme low bit-widths remains challenging: existing rotation-free methods suffer from outliers at 2-3 bits, while rotation-based methods improve accuracy at the cost of additional runtime overhead. We propose SPHQuant, a rotation-free spherical weight-only quantization framework for VLMs. Instead of quantizing weights directly in Cartesian coordinates, SPHQuant decomposes each 8D weight vector into coordinate signs, radius, and a positive unit direction. This representation isolates outlier magnitude into the radius while keeping directions bounded and statistically regular. Based on this insight, SPHQuant allocates extra precision to the radius to mitigate accuracy degradation induced by outliers. It further uses a compact positive-direction codebook and fine-tunes codebook entries through angular parameterization to preserve the unit-sphere constraint. We also design a hardware-friendly GEMV kernel that keeps the direction codebook small enough for shared-memory lookup and packs radial bits efficiently. Experiments show that SPHQuant matches the performance of state-of-the-art extreme low-bit quantization methods while improving decode throughput over QTIP by 30.3% on RTX A6000. Code will be released in https://github.com/Pushazf/SPHQuant.
• Abstract（参考訳）: 近年の基盤モデルは、VLM(Native Multimodal Vision-Language Models)へと移行し、VLMが次世代基盤モデルの中心となる。 しかし、大きな言語バックボーンは、高いメモリフットプリントとメモリバウンドの自己回帰復号化のためにエッジデプロイメントを困難にしている。 既存のローテーションフリー手法は2～3ビットのアウトレーヤに悩まされ、ローテーションベースの手法は追加のランタイムオーバーヘッドのコストで精度を向上させる。 VLMのための回転不要球面のみの量子化フレームワークであるSPHQuantを提案する。 SPHQuantは、重みを直接モンテカルロ座標で定量化する代わりに、各8次元重みベクトルを座標記号、半径、正の単位方向に分解する。 この表現は、方向を有界かつ統計的に正則に保ちながら、外方等級を半径に分離する。 この知見に基づいて、SPHQuantは外れ値による精度劣化を軽減するために半径に余分な精度を割り当てる。 さらに、コンパクトなポジショニングコードブックと、角パラメータ化による微調整コードブックを使用して、単位球の制約を保存する。 また、ハードウェアフレンドリーなGEMVカーネルを設計し、共有メモリのルックアップのためのコードブックを小さく保ち、ラジアルビットを効率的にパックする。 実験の結果、SPHQuantは最先端の極低ビット量子化法の性能と一致し、RTX A6000ではQTIP上のデコードスループットを30.3%向上した。 コードはhttps://github.com/Pushazf/SPHQuant.comでリリースされる。

関連論文リスト

• Fine-tuning Quantized Neural Networks with Zeroth-order Optimization [21.0540879091664]
  我々は、勾配推定のために連続量子化スケールを摂動する単純で効果的な方法である量子化ゼロ階最適化(QZO)を提案する。 QZOは4ビットLLMの合計メモリコストを18ドル以上削減でき、24GBのGPUでLlama-2-13Bを微調整できる。
  論文  参考訳（メタデータ） (2025-05-19T17:55:15Z)
• Pyramid Vector Quantization for LLMs [8.779688608449902]
  大規模言語モデルのためのピラミッドベクトル量子化(PVQ)。 PVQは1次元球面に点を投影することで球面上の固定整数格子を用いており、メモリに明示的なコードブックを必要とせずに効率的な符号化と復号を行うことができる。 比較手法と比較した場合, 性能と重量当たりのビット, アクティベーション当たりのビット間でのパリト最適トレードオフにより, 最先端の量子化性能を実現する。
  論文  参考訳（メタデータ） (2024-10-22T11:57:32Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。