Fugu-MT 論文翻訳(概要): Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization

論文の概要: Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization

arxiv url: http://arxiv.org/abs/2605.00140v1
Date: Thu, 30 Apr 2026 18:55:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-04 17:43:28.715848
Title: Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization
Title（参考訳）: 技術報告:低ビットLDM量子化のための活性化残留ヘッセン量子化(ARHQ)
Abstract要約: Activation Residual Hessian Quantization (ARHQ) は、低ビットの活性化重み量子化における誤差伝播を緩和する訓練後の重み分割法である。 ARHQは、エラーに敏感な重み方向を解析的に識別し、高精度の低ランク分岐に分離する。
参考スコア（独自算出の注目度）: 21.244110575269723
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present Activation Residual Hessian Quantization (ARHQ), a post-training weight splitting method designed to mitigate error propagation in low-bit activation-weight quantization. By constructing an input-side residual Hessian from activation quantization residuals (G_x), ARHQ analytically identifies and isolates error-sensitive weight directions into a high-precision low-rank branch. This is achieved via a closed-form truncated SVD on the scaled weight matrix W G^{1/2}_x . Experimental results on Qwen3-4B-Thinking-2507 demonstrate that ARHQ significantly improves layer-wise SNR and preserves downstream reasoning performance on ZebraLogic even under aggressive quantization. The code is available at https://github.com/BeautMoonQ/ARHQ.
Abstract（参考訳）: 本稿では,低ビット活性化重み量子化における誤差伝播を緩和する訓練後重み分割法であるActivation Residual Hessian Quantization (ARHQ)を提案する。アクティベーション量子化残差(G_x)から入力側残留ヘッセンを構成することにより、ARHQは、誤差感度の重み方向を高精度なローランク分岐に解析的同定し、分離する。これは、スケールされたウェイト行列 W G^{1/2}_x 上の閉形式 SVD によって達成される。 Qwen3-4B-Thinking-2507の実験結果から、ARHQは層ワイドSNRを大幅に改善し、アグレッシブ量子化の下でもZebraLogicの下流推論性能を維持できることが示された。コードはhttps://github.com/BeautMoonQ/ARHQで公開されている。

関連論文リスト

OffQ: Taming Structured Outliers in LLM Quantization by Offsetting [46.325071880831445]
OffQは、新しいオフセット機構を通じて、低ビット量子化におけるアクティベーションアウトリーを緩和する。 OffQは、低ビット効率を維持しながら、モデルの精度を一貫して改善する。
論文参考訳（メタデータ） (2026-06-05T10:11:34Z)
OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization [25.000917754189178]
トレーニング後の重量限定量子化は、モデルサイズを減らし、トークン生成を加速することで、有望なソリューションを提供する。重量に固有の体系的なアウトリーチが存在することは、依然として大きな障害である。本稿では,2次低ランク特性によって誘導される付加的な重み抑制を行うOutlier Self-Absorption Quantization (OSAQ)を提案する。
論文参考訳（メタデータ） (2026-05-06T10:35:25Z)
LSGQuant: Layer-Sensitivity Guided Quantization for One-Step Diffusion Real-World Video Super-Resolution [52.627063566555194]
本稿では,一段階拡散に基づく実世界VSRのための層感度誘導量子化手法LSGQuantを紹介する。本手法は,ビデオトークンのアクティベーションに適合する動的レンジ適応量子化器 (DRAQ) を備える。提案手法は,完全精度のオリジンモデルに対してほぼ性能が良く,既存の量子化手法をはるかに上回っている。
論文参考訳（メタデータ） (2026-02-03T06:53:19Z)
D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs [33.883527341335856]
軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。 D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
論文参考訳（メタデータ） (2026-01-30T05:49:48Z)
End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
論文参考訳（メタデータ） (2025-08-21T01:18:27Z)
Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
層ワイドPTQは大規模言語モデル(LLM)を圧縮するための有望な手法であるこの領域の最近の進歩は飽和しており、中核的な制限を再検討し、さらなる改善を検討する必要性を浮き彫りにしている。本稿では,量子化エラーを明示的に伝播し,蓄積したエラーを補償することにより,レイヤワイズPTQを向上させる,汎用的で軽量でスケーラブルなフレームワークである量子化エラー伝播(QEP)を提案する。
論文参考訳（メタデータ） (2025-04-13T15:56:00Z)
APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
論文参考訳（メタデータ） (2025-04-03T11:48:56Z)
RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文参考訳（メタデータ） (2025-02-13T06:44:33Z)
ASER: Activation Smoothing and Error Reconstruction for Large Language Model Quantization [18.017182472532415]
ASERは、SVDを白化して構築したLoRAスタイルの行列を用いた量子化誤差に対する低ランク補償からなるアルゴリズムである。 ASERは、典型的な外れ値を低ビットの値に量子化することができる。
論文参考訳（メタデータ） (2024-11-12T12:52:04Z)
Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
論文参考訳（メタデータ） (2024-07-09T12:06:03Z)
OAC: Output-adaptive Calibration for Accurate Post-training Quantization [28.67781845829386]
大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。ほとんどのPTQは、モデル出力を無視した層ワイドユークリッド損失に基づいて量子化誤差を定式化する。キャリブレーションプロセスにモデル出力を組み込むために,出力適応量子化(OAC)を提案する。
論文参考訳（メタデータ） (2024-05-23T20:01:17Z)
BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。