論文の概要: PRQuant: Permutation Residual Quantization for Low-Overhead Inference

• arxiv url: http://arxiv.org/abs/2609.22106v1
• Date: Sun, 16 Aug 2026 12:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.712112
• Title: PRQuant: Permutation Residual Quantization for Low-Overhead Inference
• Title（参考訳）: PRQuant: 低オーバーヘッド推論のための置換残差量子化
• Abstract要約: 重み量子化のためのトレーニング不要かつ低オーバーヘッドなフレームワークであるPRQuant(Permutation Residual Quantization)を提案する。 PRQuantは、ウェイト量子化エラーに最も寄与する入力チャネルを特定し、それらを連続したテールブロックに置換し、残りのウェイトサブテンソルをオフラインに構築する。 PRQuantは、ダウンプロジェクションの復元エラーを効果的に低減することを示す実験である。
• 参考スコア（独自算出の注目度）: 24.634574269826164
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accuracy of Low-bit quantization of linear layers is often dominated by a small number of outliers. Although existing methods, such as smoothing, rotation, or residual-based approaches, may mitigate this problem, they often introduce new accuracy bottlenecks to weights. Besides, most of these techniques are implemented as online approaches, which can result in heavy execution overheads. To address the afore-mentioned issues, We propose PRQuant (Permutation Residual Quantization), a training-free and low-overhead framework that combines channel reorganization with static weight-side residual compensation. After AWQ-style scaling, PRQuant identifies the input channels that contribute most to weight quantization error, permutes them into contiguous tail blocks, and constructs their residual weight sub-tensors offline. During inference, this contiguous structure enables the activation side to use tail blocks seamlessly without the expensive online gathering operation, and turns scattered residual compensation into a regular tail-augmented GEMM, substantially reducing latency. Experiments demonstrate that PRQuant effectively reduces down-projection reconstruction error. Ablation studies confirm that smoothing and residual compensation are the primary drivers of numerical improvement, while permutation provides a consistent marginal numerical benefit and, more importantly, enables a hardware-friendly contiguous layout that eliminates dynamic gathering overhead. Overall, PRQuant outperforms default MXFP4 and the evaluated PTQ baselines in average accuracy across five downstream benchmarks, improving over MXFP4 by 1.24 and 0.55 on Qwen3-4B-Instruct-2507 and Qwen3-30B-A3B-Instruct-2507, respectively.
• Abstract（参考訳）: 線形層の低ビット量子化の精度は、しばしば少数の外れ値によって支配される。 平滑化、回転、残差に基づくアプローチといった既存の手法はこの問題を緩和するかもしれないが、しばしば重み付けに新しい精度ボトルネックを導入する。 さらに、これらの技術のほとんどはオンラインアプローチとして実装されており、結果として実行オーバーヘッドが大きくなる可能性がある。 このような課題に対処するため,我々は,チャネル再構成と静的な重み付け残差補償を組み合わせたトレーニングフリーかつ低オーバーヘッドのフレームワークであるPRQuant(Permutation Residual Quantization)を提案する。 AWQスタイルのスケーリングの後、PRQuantはウェイト量子化エラーに最も寄与する入力チャネルを特定し、それらを連続したテールブロックに置換し、残りのウェイトサブテンソルをオフラインに構築する。 推論中、この連続構造により、高価なオンライン収集操作を使わずに、アクティベーション側でテールブロックをシームレスに使用でき、分散残差補償を通常のテール拡張GEMMに変換し、遅延を大幅に低減することができる。 PRQuantは、ダウンプロジェクションの復元エラーを効果的に低減することを示す実験である。 アブレーション研究は、スムーズ化と残差補償が数値改善の主要な要因であることを確認し、一方、置換は一貫した限界数値的利益をもたらし、さらに重要なことは、ハードウェアフレンドリーな連続的なレイアウトを可能にし、動的集合オーバーヘッドを排除している。 PRQuantは、それぞれQwen3-4B-Instruct-2507とQwen3-30B-A3B-Instruct-2507でMXFP4を1.24倍、0.55倍改善した。

関連論文リスト

• Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate [9.512361190282261]
  PTQ(Post-Training Quantization)は、小さなキャリブレーションセットを活用することで、再トレーニングなしにメモリフットプリントを削減する。 近年のHessian-based PTQ法は、チャネル間の依存関係による量子化誤差を補償するが、そのような手法は低ビット幅で劣化する。 対角ヘッセン近似と反復重み付き最小二乗を用いた頑健なPTQフレームワークであるDASH-Qを提案する。
  論文  参考訳（メタデータ） (2026-04-15T12:40:30Z)
• SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization [7.372706701787234]
  学習後量子化(PTQ)は,大規模言語モデルを効率的に展開するための一般的な手法として登場した。 SERQは1つの低ランク補償行列を用いる低ビットLLM推論のためのサリエンシ対応誤差再構成法である。
  論文  参考訳（メタデータ） (2026-03-09T10:04:12Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models [25.783531928577233]
  BASE-Qは、偏差補正と非対称スケーリングを組み合わせて、丸め誤差やクリップ誤差を減らす、シンプルながら強力なアプローチである。 実験では、BASE-Qの有効性が示され、精度のギャップは、QuaRot、SpinQuant、OSTQuantと比較して50.5%、42.9%、29.2%縮小した。
  論文  参考訳（メタデータ） (2025-05-26T14:22:21Z)
• Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
  低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。 デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。 われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
  論文  参考訳（メタデータ） (2025-05-16T12:11:40Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
  ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。 現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。 本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
  論文  参考訳（メタデータ） (2024-07-09T12:06:03Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。