論文の概要: AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation

• arxiv url: http://arxiv.org/abs/2610.07457v1
• Date: Mon, 05 Oct 2026 22:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.690143
• Title: AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation
• Title（参考訳）: AlignQuant: 効率的なLCM生成のためのタイル配向混合精密量子化
• Abstract要約: 本稿では,2次元重みタイルを精度割当,コンパクトストレージ,実行の共通単位として用いた後学習量子化手法AlignQuantを紹介する。 位相正規化スコアは、モデル全体の重量貯蔵予算の下で、いずれのフェーズにおいても重要なタイルの高精度化を優先する。 3Bから14Bのパラメータにまたがる4つのLSMで、AlignQuantはBF16よりも2.50times$ジェネレーションスピードアップを達成している。
• 参考スコア（独自算出の注目度）: 16.837647774787772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained mixed-precision quantization promises efficient large language model inference, but local precision choices can conflict with regular GPU storage and computation units. This precision-boundary mismatch limits the translation of compression into practical acceleration. We introduce AlignQuant, a post-training quantization method that uses GPU-compatible two-dimensional weight tiles as the common unit of precision allocation, compact storage, and execution. This shared partition lets precision follow sensitivity within output channels. Joint prefill/decode calibration scores precision reductions using projection-output perturbations weighted by language-model loss gradients under quantized activations. Phase-normalized scores prioritize higher precision for tiles important to either phase under a model-wide weight-storage budget. Each tile stores one selected representation, while phase-specialized kernels reuse the packed model and expand lower-bit weights for INT8 computation with 8-bit activations. Across four LLMs spanning 3B to 14B parameters, AlignQuant achieves up to $2.50\times$ generation speedup over BF16 while preserving model quality. Evaluations further cover three GPUs and contexts up to 64K tokens. These results show that local precision flexibility and regular GPU execution can coexist through a shared tile unit. The implementation is available at https://github.com/HanzhiZhang-Ulrica/AlignQuant.
• Abstract（参考訳）: 微細な混合精度量子化は、効率的な大言語モデル推論を約束するが、局所的な精度選択は通常のGPUストレージや計算ユニットと矛盾する可能性がある。 この精度境界ミスマッチは圧縮の実際の加速への変換を制限する。 本稿では,GPU互換の2次元重みタイルを,精度割当,コンパクトストレージ,実行の共通単位として用いるポストトレーニング量子化手法AlignQuantを紹介する。 この共有パーティションは、出力チャネル内での精度の追従を可能にする。 共用プリフィル/デコード校正は、量子化アクティベーション下での言語モデル損失勾配の重み付けによるプロジェクション・アウトプット・摂動を用いた精度の低下を示す。 位相正規化スコアは、モデル全体の重量貯蔵予算の下で、いずれのフェーズにおいても重要なタイルの高精度化を優先する。 各タイルは1つの選択された表現を格納し、フェーズ特化カーネルは充填されたモデルを再利用し、8ビットのアクティベーションを持つINT8計算のために低ビットの重みを拡大する。 3Bから14Bのパラメータにまたがる4つのLCMで、AlignQuantはモデル品質を維持しながらBF16よりも最大2.50\times$ジェネレーションスピードアップを達成する。 評価はさらに3つのGPUとコンテキストを最大64Kトークンでカバーする。 これらの結果は、局所的精度の柔軟性と通常のGPU実行が共有タイルユニットを介して共存可能であることを示している。 実装はhttps://github.com/HanzhiZhang-Ulrica/AlignQuant.comで公開されている。

関連論文リスト

• SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models [4.269807933198402]
  混合精度量子化(Mixed-precision Quantization)は、強いメモリ予算の下で大きな言語モデルを圧縮するための有望なアプローチである。 本研究では,大規模言語モデルを対象とした検索自由かつハードウェアフレンドリな混合精度量子化フレームワークであるSFMPを提案する。
  論文  参考訳（メタデータ） (2026-02-01T05:24:19Z)
• Fine-tuning Quantized Neural Networks with Zeroth-order Optimization [21.0540879091664]
  我々は、勾配推定のために連続量子化スケールを摂動する単純で効果的な方法である量子化ゼロ階最適化(QZO)を提案する。 QZOは4ビットLLMの合計メモリコストを18ドル以上削減でき、24GBのGPUでLlama-2-13Bを微調整できる。
  論文  参考訳（メタデータ） (2025-05-19T17:55:15Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• ABQ-LLM: Arbitrary-Bit Quantized Inference Acceleration for Large Language Models [9.444063879246242]
  本稿では,新しい任意のビット量子化アルゴリズムと推論フレームワークであるABQ-LLMを紹介する。 様々な量子化設定において優れた性能を実現し、GPU上で効率的な任意の精度の量子化推論を可能にする。
  論文  参考訳（メタデータ） (2024-08-16T06:39:08Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。