論文の概要: SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability

• arxiv url: http://arxiv.org/abs/2610.14745v1
• Date: Sat, 10 Oct 2026 09:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.09832
• Title: SAGE: Pushing 2-Bit Vector-Quantized LLMs toward Real-World Usability
• Title（参考訳）: SAGE:2ビットベクトル量子LDMを現実のユーザビリティにプッシュする
• Abstract要約: 極低ビット量のみの量子化は、大規模言語モデルの展開コストを削減するための効果的なアプローチである。 重みのみのベクトル量子化を符号化したスプリット適応グループを提案する。 知識、数学、コード生成、命令の追従、ツール使用に関するベンチマークの他、SAGEは最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 21.205005892719686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extreme low-bit weight-only quantization is an effective approach to reducing the deployment costs of large language models. Below 3 bits, scalar quantization often suffers severe accuracy loss, while vector quantization (VQ) better preserves accuracy through more expressive joint encoding. However, existing VQ methods still exhibit substantial degradation on real-world tasks, and two design challenges remain underexplored: (1) protecting sensitive weight channels within jointly encoded vectors; and (2) allocating a fixed bit budget among representation components, such as direction and radius, to suit different weight matrices. To address these challenges, we propose SAGE: Split Adaptation and Grouping by Energy for weight-only vector quantization. First, Energy-Stratified Grouping (ESG) couples channel grouping with activation-weighted fitting, grouping channels from different energy tiers within each subvector to prioritize sensitive channels. Second, Adaptive Bit Split (ABS) balances direction-codebook capacity and radius precision per matrix, selecting the split with the lowest activation-weighted reconstruction error under a fixed budget. Across benchmarks covering knowledge, mathematics, code generation, instruction following, and tool use, SAGE achieves state-of-the-art performance in the 2-bit quantization setting. On Qwen3-30B-A3B, it retains 95.3% of the BF16 model's average benchmark score. With our custom-designed CUDA kernel, SAGE delivers up to a 2.55-fold non-streaming end-to-end speedup over FP16. The code is available at https://github.com/Zincwolf/sage.
• Abstract（参考訳）: 極低ビット量のみの量子化は、大規模言語モデルの展開コストを削減するための効果的なアプローチである。 3ビット以下では、スカラー量子化はしばしば深刻な精度の損失を被るが、ベクトル量子化(VQ)はより表現力のある関節符号化により精度を向上する。 しかしながら,既存のVQ手法は実世界の課題に対して重大な劣化を示しており,(1)共同符号化ベクター内での重みチャネルの保護,(2)方向や半径などの表現要素間の固定ビット予算の割り当てによる異なる重み行列に適合する,という2つの設計課題がまだ未解決のままである。 これらの課題に対処するために、重みのみのベクトル量子化のためのSAGE: Split Adaptation and Grouping by Energyを提案する。 第一に、Energy-Stratified Grouping (ESG)は、各サブベクター内の異なるエネルギー層からのチャネルをグループ化して、感度の高いチャネルを優先順位付けする。 第2に、アダプティブビットスプリット(ABS)は、行列毎の方向コードブック容量と半径精度のバランスをとり、固定予算の下で最小の活性化重み付き再構成誤差で分割を選択する。 知識、数学、コード生成、命令従順、ツール使用に関するベンチマークを網羅し、SAGEは2ビット量子化設定で最先端のパフォーマンスを達成する。 Qwen3-30B-A3Bでは、BF16の平均ベンチマークスコアの95.3%を維持している。 カスタム設計のCUDAカーネルにより、SAGEはFP16よりも2.55倍の非ストリーミングのエンドツーエンドのスピードアップを提供する。 コードはhttps://github.com/Zincwolf/sage.comから入手できる。

関連論文リスト

• GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation [6.515041755039866]
  GRINQHは、量子化とスパーシフィケーションを統合することでデコーディングを加速する、重量のみのポストトレーニング量子化フレームワークである。 Llama3とQwen3モデルで評価すると、GRINQHは3ビットと4ビットの設定で最先端の固定精度と混合精度のベースラインを上回っている。 我々は、階層型ネストメモリレイアウトをカスタムGPUカーネルのマルチ精度ストレージに活用することにより、理論的スピードアップを実験的に検証する。
  論文  参考訳（メタデータ） (2026-06-22T14:42:34Z)
• LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
  大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。 ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。 そこで我々はLookAhead Quantization (LAQuant) を提案する。
  論文  参考訳（メタデータ） (2026-05-09T07:35:38Z)
• Bit-by-Bit: Progressive QAT Strategy with Outlier Channel Splitting for Stable Low-Bit LLMs [34.72414661826396]
  我々は、外部チャネル分割を備えたプログレッシブQATフレームワークBit-by-Bitを提案する。 提案手法は,(1)精度を段階的に低下させるブロックワイド・プログレッシブ・トレーニング,(2)整数量子化格子のネスト構造,(3)ラウンドリング・アウェア・アウトリー・チャネル分割の3つの重要な要素を統合する。 W2A2設定下では、Bit-by-BitはBitDistillerやEfficientQATといったベースラインをLlama2/3で大幅に上回り、2.25 WikiText2 PPLの損失しか得られない。
  論文  参考訳（メタデータ） (2026-04-09T06:56:39Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs [33.883527341335856]
  軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。 精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。 D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
  論文  参考訳（メタデータ） (2026-01-30T05:49:48Z)
• SBVR: Summation of BitVector Representation for Efficient LLM Quantization [3.7018544730078413]
  データ中の表現可能な点の数を制限することで量子化圧縮は、効率的な量子化の鍵となる。 既存のPTQ(Post-Training Quantization)ソリューションでは、ラウンドツーネアレス(RTN)ベースの方法とコードブックベースの方法の2つの主要なアプローチが採用されている。 SBVR(Summation of Bitplex Representation, ビットプレックス表現の要約)を提案する。
  論文  参考訳（メタデータ） (2025-09-17T13:51:27Z)
• A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance [49.1574468325115]
  accumulator-aware Quantization (A2Q)は、量子化されたニューラルネットワーク(QNN)をトレーニングして、推論時のオーバーフローを回避するために設計された新しい重み量子化手法である。 A2Qは重み正規化にインスパイアされたユニークな定式化を導入し、アキュミュレータビット幅境界に従ってモデルの重みのL1ノルムを制約する。 A2Qは浮動小数点ベースラインと競合するモデルの精度を維持しつつ、低精度のアキュムレータのためのQNNを訓練できることを示す。
  論文  参考訳（メタデータ） (2023-08-25T17:28:58Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。