論文の概要: LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss

• arxiv url: http://arxiv.org/abs/2605.08755v1
• Date: Sat, 09 May 2026 07:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.862729
• Title: LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss
• Title（参考訳）: LAQuant: レイヤワイドルックアヘッドロスによる単純なオーバーヘッドフリー大共振モデル量子化
• Authors: Euntae Choi, Sumin Song, Sungjoo Yoo,
• Abstract要約: 大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。 ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。 そこで我々はLookAhead Quantization (LAQuant) を提案する。
• 参考スコア（独自算出の注目度）: 8.481133435038839
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large reasoning models (LRMs) reach competition-level math and coding accuracy via long autoregressive decoding, making per-token decoding cost a primary deployment concern. Weight quantization is the standard tool for acceleration, but representative recipes -- including state-of-the-art end-to-end (E2E) QAT -- lose accuracy on long-decoding reasoning benchmarks despite preserving perplexity and short-decode accuracy. Through a systematic gradient-direction analysis, we identify two factors driving this gap: (i) KV-cache fidelity preservation under the QAT loss, which E2E supervision attenuates via the softmax Fisher metric; and (ii) Hessian-subspace alignment between calibration data and the deployment distribution. We propose LookAhead Quantization (LAQuant), a layer-wise weight-only QAT method that addresses both factors without online-transform overhead by combining reasoning-domain calibration with a one-layer lookahead loss whose implicit cross-layer co-adaptation preserves the next-layer residual stream. For Qwen3-4B under W3G128 quantization, LAQuant improves AIME25 Pass@1 over ParoQuant by 15.11pp (1.93pp over ParoQuant++ at matched calibration) while achieving a 3.42x decoding speedup over FP16 on RTX A6000, compared with ParoQuant's 3.01x.
• Abstract（参考訳）: 大規模な推論モデル(LRM)は、長い自己回帰デコーディングを通じて競合レベルの数学やコーディング精度に達する。 軽量量子化はアクセラレーションの標準ツールであるが、最先端のエンドツーエンド(E2E)QATを含む代表的なレシピは、パープレキシティと短符号の精度を保ったにもかかわらず、長い復号推論ベンチマークで正確さを失う。 系統的な勾配方向分析により、このギャップを駆動する2つの要因を同定する。 一 ソフトマックスフィッシャー計量によりE2Eの監督が減衰するQAT損失下におけるKV-cache忠実度保存 2キャリブレーションデータと展開分布のヘッセン・サブスペースアライメント そこで我々はLookAhead Quantization (LAQuant) を提案する。LookAhead Quantization (LookAhead Quantization) は、論理領域のキャリブレーションと、暗黙のクロス層共適応が次の層残差ストリームを保存する1層ルックアヘッド損失を組み合わせることで、オンライン変換オーバーヘッドのない2つの要因に対処するレイヤワイドウェイトオンリーQAT手法である。 W3G128量子化下のQwen3-4Bでは、LAQuantはParoQuant上のAIME25 Pass@1を15.11pp(ParoQuant++より1.93pp)改善し、RTX A6000のFP16よりも3.42倍のデコード速度を達成した。

関連論文リスト

• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression [0.0]
  HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。 我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
  論文  参考訳（メタデータ） (2026-01-11T15:35:10Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• PTQAT: A Hybrid Parameter-Efficient Quantization Algorithm for 3D Perception Tasks [9.463776523295303]
  ポストトレーニング量子化(PTQ)と量子アウェアトレーニング(QAT)は、2つの主流モデル量子化アプローチを表す。 本稿では,3次元知覚ネットワークの効率的な展開のための新しいハイブリッド量子化アルゴリズムPTQATを提案する。
  論文  参考訳（メタデータ） (2025-08-14T11:55:21Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• QSpec: Speculative Decoding with Complementary Quantization Schemes [53.960146187821685]
  大規模言語モデル(LLM)における推論の高速化とメモリ消費削減のために量子化が広く採用されている 品質から効率を分離する新しい量子化パラダイムであるQSpecを提案する。 QSpecは重みとKVキャッシュの両方を段階的に再利用し、再トレーニングや補助モデルなしでほぼゼロコストで切り替えることができる。
  論文  参考訳（メタデータ） (2024-10-15T05:57:51Z)
• OAC: Output-adaptive Calibration for Accurate Post-training Quantization [28.67781845829386]
  大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。 ほとんどのPTQは、モデル出力を無視した層ワイドユークリッド損失に基づいて量子化誤差を定式化する。 キャリブレーションプロセスにモデル出力を組み込むために,出力適応量子化(OAC)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T20:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。