論文の概要: TileQuant: Tile as the Precision-Allocation Unit for LLM Mixed-Precision Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2611.07217v1
• Date: Wed, 04 Nov 2026 23:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.465986
• Title: TileQuant: Tile as the Precision-Allocation Unit for LLM Mixed-Precision Post-Training Quantization
• Title（参考訳）: TileQuant: LLM混合精密後処理量子化のための精度割当ユニットとしてのタイル
• Abstract要約: トレーニング後の量子化(PTQ)は、言語モデルのデプロイメントコストを大幅に削減する。 品質を維持するには、不均一な重量感度を考慮する必要がある。 ハードウェア対応の2D重量タイルに精度を割り当てるトレーニング不要のフレームワークであるTileQuantを紹介した。
• 参考スコア（独自算出の注目度）: 16.837647774787772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) reduces large language model (LLM) deployment costs, but preserving quality requires accounting for uneven weight sensitivity. Uniform PTQ uses one weight bit-width, importance-aware PTQ adjusts scales or reconstructs weights within that width, and column-wise mixed precision retains selected columns at higher precision. However, sensitivity varies within columns, so whole-column retention also protects less sensitive weights, while runtime outlier detection adds decoding overhead. We therefore introduce TileQuant, a training-free framework that assigns precision to hardware-aligned 2D weight tiles. Offline calibration provides input-activation-aware scoring from forward statistics for lower calibration cost and gradient-informed scoring from loss sensitivity for stronger quality preservation. Within each projection's retention budget, the highest-scoring tiles remain at 16-bit and the rest use 8-bit. The resulting map guides reconstruction into compact weight buffers, which the kernel reuses for native integer and 16-bit computation with local accumulation to reduce memory traffic. Experiments show that TileQuant reaches 2.66x the original model's generation throughput. Across language modeling, reasoning, long-context retrieval, and question answering, it preserves quality and surpasses quantized and original models on multiple tasks. These results support selecting precision units that capture local sensitivity while enabling efficient hardware execution. The implementation is: https://github.com/HanzhiZhang-Ulrica/TileQuant
• Abstract（参考訳）: 後トレーニング量子化(PTQ)は、大規模言語モデル(LLM)のデプロイメントコストを低減させるが、品質の維持には不均一な重み付けが必要である。 一様PTQは、一重のビット幅を使用し、重要対応PTQは、その幅内でのスケールを調整または再構成し、カラムワイドの混合精度は、選択したカラムを高い精度で保持する。 しかし、感度はカラムによって異なるため、カラム全体の保持はより感度の低い重みを保護し、実行時の異常検出はデコードオーバーヘッドを増大させる。 そこで、ハードウェア対応の2D重みタイルに精度を割り当てるトレーニング不要のフレームワークであるTileQuantを紹介した。 オフラインキャリブレーションは、低いキャリブレーションコストのフォワード統計による入力アクティベーションスコアと、より強い品質保存のための損失感度からの勾配インフォームスコアを提供する。 各プロジェクションの維持予算内では、最高色のタイルは16ビットのままであり、残りのタイルは8ビットである。 結果として得られたマップは、カーネルがネイティブ整数と16ビットの計算をローカルに蓄積してメモリトラフィックを減らすために再利用する、コンパクトな重みバッファに再構成される。 実験により、TileQuantはオリジナルのモデルの世代スループットの2.66倍に達することが示された。 言語モデリング、推論、長文検索、質問応答など、品質を保ち、複数のタスクにおける量子化およびオリジナルモデルを上回る。 これらの結果は、効率的なハードウェア実行を可能にしながら、局所感度をキャプチャする精度の高いユニットの選択をサポートする。 実装は:https://github.com/HanzhiZhang-Ulrica/TileQuant

関連論文リスト

• AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation [16.837647774787772]
  本稿では,2次元重みタイルを精度割当,コンパクトストレージ,実行の共通単位として用いた後学習量子化手法AlignQuantを紹介する。 位相正規化スコアは、モデル全体の重量貯蔵予算の下で、いずれのフェーズにおいても重要なタイルの高精度化を優先する。 3Bから14Bのパラメータにまたがる4つのLSMで、AlignQuantはBF16よりも2.50times$ジェネレーションスピードアップを達成している。
  論文  参考訳（メタデータ） (2026-10-05T22:06:04Z)
• EntroPack: Fast and Accurate Entropy-Coded Weight Compression at Arbitrary Bitrates [5.436122956813992]
  EntroPackはエントロピー符号化された重量圧縮機で、アクティベーションキャリブレーションや微調整なしで任意のターゲットをサポートする。 行正規化された$E_8$格子量子化と格子座標の条件確率モデルを組み合わせる。 オンラインデコードでは、ウェイトカウントとともに成長するレイテンシが追加され、メソッドは計算集約的なワークロードに適している。
  論文  参考訳（メタデータ） (2026-09-28T03:01:09Z)
• Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models [50.16014098038291]
  学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である 隠れスケーリングコストを最小限に抑えるLLMのための超低ビット量子化フレームワークであるSAGE-PTQを提案する。 LLaMA-3B では、SAGE-PTQ は BiLLM の 55.8 と比較して 6.74 WikiText2 のパープレキシティを実現している。
  論文  参考訳（メタデータ） (2026-06-03T20:51:52Z)
• D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs [33.883527341335856]
  軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。 精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。 D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
  論文  参考訳（メタデータ） (2026-01-30T05:49:48Z)
• Automatic mixed precision for optimizing gained time with constrained loss mean-squared-error based on model partition to sequential sub-graphs [0.8999666725996975]
  混合精度(MP)は、ネットワーク層間での数値的精度の変化によってトレードオフを緩和する。 本研究では,PTQ(Post-Training Quantization)内の最適なMP構成を自動的に選択することに焦点を当てた。
  論文  参考訳（メタデータ） (2025-05-19T12:51:02Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。