論文の概要: LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.16368v1
• Date: Mon, 12 Oct 2026 08:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.335049
• Title: LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers
• Title（参考訳）: LoopQuant: ループ変換器の高精度かつ効率的な後処理量子化
• Abstract要約: LoopLMは共有トランスフォーマーモジュールを再利用することでパラメータ効率を向上させる。 既存のトレーニング後の量子化手法では、ループ間のアクティベーションのダイナミクスを考慮できない。 ループLMの高精度かつ効率的な低ビット量子化のためのループ対応PTQフレームワークであるLoopQuantを提案する。
• 参考スコア（独自算出の注目度）: 13.615577926708319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped Language Models (LoopLMs) improve parameter efficiency by recursively reusing shared Transformer modules, yet their repeated computation over evolving recurrent states poses new challenges for low-bit deployment. Existing post-training quantization (PTQ) methods, largely designed for feed-forward Transformers, fail to account for cross-loop activation dynamics, heterogeneous loop sensitivity, and recursive error propagation, leading to substantial performance degradation at low precision. To address these challenges, we propose LoopQuant, a loop-aware PTQ framework for accurate and efficient low-bit quantization of LoopLMs. LoopQuant is built on three core components: 1) Cross-Loop Distribution Canonicalization (CLDC) learns a shared quantization-friendly representation across recurrent states while preserving parameter sharing; 2) Interaction-Aware Loop-wise Precision Allocation (ILPA) allocates activation precision under a fixed bit budget by modeling task-level loop sensitivity and cross-loop interactions; and 3) Loop-Conditioned Task Calibration (LCTC) further aligns quantized inference with the low-bit recursive trajectory through lightweight task-space calibration. Extensive experiments across LoopLM architectures demonstrate that LoopQuant consistently outperforms existing low-bit PTQ methods. On Ouro-2.6B, LoopQuant under W4A4 surpasses all W4A8 baselines in performance, while reducing model memory by 65.3% with only 3.4% additional storage overhead over naive INT4 and achieving a 1.7 times decoding speedup over BF16. These results demonstrate a strong balance among accuracy, compression, and inference efficiency, providing a practical and deployment-friendly solution for low-bit LoopLM inference. The code is available at [https://github.com/Kishon-zzx/LoopQuant].
• Abstract（参考訳）: Looped Language Models (LoopLMs) は、共有トランスフォーマーモジュールを再帰的に再利用することでパラメータ効率を改善するが、リカレントステートの繰り返し計算は、ロービットデプロイメントに新たな課題をもたらす。 既存のトレーニング後量子化(PTQ)法は、主にフィードフォワードトランスフォーマー向けに設計されており、クロスループアクティベーションのダイナミクス、不均一ループ感度、再帰的エラー伝播を考慮せず、低精度で性能が大幅に低下する。 これらの課題に対処するため、ループLMの高精度かつ効率的な低ビット量子化のためのループ対応PTQフレームワークであるLoopQuantを提案する。 LoopQuantは3つのコアコンポーネント上に構築されている。 1) クロスループ分布正準化(CLDC)は、パラメータ共有を保ちながら、繰り返し状態にわたる共有量子化フレンドリな表現を学習する。 2) タスクレベルのループ感度とクロスループ相互作用をモデル化することにより、ILPA(Interaction-Aware Loop-wise Precision Allocation)は、固定ビット予算下でのアクティベーション精度を割り当てる。 3)Loop-Conditioned Task Calibration (LCTC)はさらに、軽量なタスク空間キャリブレーションにより、量子化推論を低ビット再帰軌道と整合させる。 LoopLMアーキテクチャの広範な実験は、LoopQuantが既存の低ビットPTQ法より一貫して優れていることを示した。 Ouro-2.6Bでは、W4A4のLoopQuantはW4A8のベースラインを全て上回り、モデルメモリを65.3%削減し、3.4%のストレージオーバヘッドしか追加せず、BF16の1.7倍のデコード速度を実現している。 これらの結果は、精度、圧縮、推論効率のバランスが強く、低ビットLoopLM推論のための実用的でデプロイしやすいソリューションを提供する。 コードは[https://github.com/Kishon-zzx/LoopQuant]で入手できる。

関連論文リスト

• Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs [9.68624792431081]
  本稿では,学習後の量子化フレームワークであるRecurrent Residual Quantization (RRQ)を紹介する。 RRQは、重みを低ビットの量子化された基底として表し、量子化された残差補正の列を表わす。 Qwen3-8Bでは,全RTN 2-/4-/6-/8-bitパッケージを1,293秒で構築した。
  論文  参考訳（メタデータ） (2026-08-04T08:32:05Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• LoopQ: Quantization for Recursive Transformers [14.001192614503807]
  本稿では,LoopLMにおける量子化に関する最初の体系的研究について述べる。 ループ対応のPTQフレームワークであるLoopQを提案する。 実験によると、W4A4量子化の下では、LoopQは平均下流の精度を68.8%改善し、最強の静的PTQベースラインと比較して平均パープレキシティを87.7%低減している。
  論文  参考訳（メタデータ） (2026-05-08T01:45:28Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization [7.372706701787234]
  学習後量子化(PTQ)は,大規模言語モデルを効率的に展開するための一般的な手法として登場した。 SERQは1つの低ランク補償行列を用いる低ビットLLM推論のためのサリエンシ対応誤差再構成法である。
  論文  参考訳（メタデータ） (2026-03-09T10:04:12Z)
• MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration [23.752021919501207]
  本稿では,チャネルごとの静的量子化フレームワークであるMergeQuantを提案する。 MergeQuantは、量子化ステップマイグレーション(QSM)メソッドを通じて、チャネルごとの量子化ステップと対応するスケーリングと線形マッピングを統合する。 Llama-2-7Bモデルでは、MergeQuantはFP16ベースラインと比較してデコードで最大1.77倍、エンドツーエンドで最大2.06倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-03-07T04:52:28Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
  本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。 実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
  論文  参考訳（メタデータ） (2024-02-17T14:26:57Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。