論文の概要: GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation

• arxiv url: http://arxiv.org/abs/2606.23419v1
• Date: Mon, 22 Jun 2026 14:42:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 19:08:09.505505
• Title: GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation
• Title（参考訳）: GRINQH:高効率LLM生成のための傾斜入力型量子化階層
• Authors: Jette Oberländer, Jan Finkbeiner, Catherine M. Schöfmann, Emre Neftci,
• Abstract要約: GRINQHは、量子化とスパーシフィケーションを統合することでデコーディングを加速する、重量のみのポストトレーニング量子化フレームワークである。 Llama3とQwen3モデルで評価すると、GRINQHは3ビットと4ビットの設定で最先端の固定精度と混合精度のベースラインを上回っている。 我々は、階層型ネストメモリレイアウトをカスタムGPUカーネルのマルチ精度ストレージに活用することにより、理論的スピードアップを実験的に検証する。
• 参考スコア（独自算出の注目度）: 6.515041755039866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive decoding with LLMs is primarily bottlenecked by GPU memory bandwidth, especially in edge-computing settings. While quantization is essential for mitigating this bottleneck, most existing methods treat inference as a uniform process and fail to account for the asymmetry between the compute-bound prefill stage and the memory-bound decoding stage. We propose GRINQH (GRaded INput-based Quantization Hierarchy), a weight-only post-training quantization framework that accelerates decoding by unifying quantization and sparsification. GRINQH leverages activation magnitudes as a proxy for computational importance to dynamically assign weight channels to different precision levels, enabling flexible average bit widths during decoding. Evaluated on Llama3 and Qwen3 models, GRINQH outperforms state-of-the-art fixed- and mixed-precision baselines at comparable 3- and 4-bit settings, even enabling effective 2-bit generation. We experimentally verify theoretical speedups by leveraging a hierarchical nested memory layout for multi-precision storage in a custom GPU kernel. Ultimately, GRINQH establishes a new state-of-the-art Pareto frontier for LLM generation, enabling a dynamic trade-off between generation quality and inference speed.
• Abstract（参考訳）: LLMによる自動回帰デコーディングは、主にGPUメモリ帯域幅、特にエッジコンピューティング設定でボトルネックとなる。 このボトルネックを緩和するためには量子化が不可欠であるが、既存のほとんどの手法は推論を一様過程として扱い、計算バウンドプリフィル段階とメモリバウンド復号段階の間の非対称性を説明できない。 本稿では,量子化とスパシフィケーションを統合することでデコーディングを高速化する,重量のみのポストトレーニング量子化フレームワークであるGRINQH(GRINQH)を提案する。 GRINQHは、演算の重要度をプロキシとして利用して、重みチャネルを異なる精度のレベルに動的に割り当て、復号時にフレキシブルな平均ビット幅を実現する。 Llama3とQwen3のモデルで評価され、GRINQHは最先端の固定精度と混合精度のベースラインを同等の3ビットと4ビットの設定で上回り、2ビットの効率的な生成を可能にしている。 我々は、階層型ネストメモリレイアウトをカスタムGPUカーネルのマルチ精度ストレージに活用することにより、理論的スピードアップを実験的に検証する。 最終的にGRINQHは、LLM生成のための最先端のパレートフロンティアを確立し、生成品質と推論速度の間の動的トレードオフを可能にする。

関連論文リスト

• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs [14.5426213901124]
  本稿では,コードブック中心のGEMMカーネルであるCodeGEMMについて紹介する。 Llama-3 モデルでは、CodeGEMM は2ビット構成で 1.83x (8B) と 8.93x (70B) のスピードアップを提供する。
  論文  参考訳（メタデータ） (2025-12-19T06:16:32Z)
• FineQ: Software-Hardware Co-Design for Low-Bit Fine-Grained Mixed-Precision Quantization of LLMs [13.951330786310262]
  FineQは、ソフトウェアとハードウェアの共同設計であり、大規模言語モデルの低ビット細粒度混合精度量子化のための設計である。 重みをよりきめ細かいクラスタに分割し、これらのクラスタ内の外れ値の分布を考慮する。 近似平均ビット幅でのSOTA混合精度量子化アルゴリズムと比較してモデル精度が向上する。
  論文  参考訳（メタデータ） (2025-04-28T12:47:23Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。