論文の概要: Quantizing Looped Transformers: Feedback Exposure and Calibration Blindness

• arxiv url: http://arxiv.org/abs/2609.30820v1
• Date: Fri, 25 Sep 2026 04:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.232905
• Title: Quantizing Looped Transformers: Feedback Exposure and Calibration Blindness
• Title（参考訳）: ループ変換器の量子化:フィードバック露光と校正ブラインドネス
• Abstract要約: Huginn-3.5Bでは、チャネルごとのINT4は主に非残留ループ-エントリアダプタで失敗する。 量子化層はアイデンティティパスなしで再帰状態を乱し、その結果のエラーは後続のステップで返される。 1ステップのGPTQベースラインは、ステップ0のアクティベーションからHessianを構築します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped transformers reuse weights across recurrence steps, making low-bit quantization especially attractive. We identify two distinct failure modes of standard post-training quantization. On Huginn-3.5B, per-channel INT4 fails primarily at the non-residual loop-entry adapter, while quantizing the residual core is much less damaging. We call this feedback exposure: a quantized layer perturbs the recurrent state without an identity path, and the resulting error is fed back at later steps. Controlled experiments on linear filters and Mamba state-space models show that feedback exposure also occurs outside transformers. Grouped INT4 reveals a separate failure, calibration blindness: our one-step GPTQ baseline builds its Hessian from step-0 activations, leaving input directions used later in the recurrence nearly unweighted. Across nine checkpoints from seven looped architectures, one-step GPTQ is worse than round-to-nearest (RTN) on the primary task metric for five checkpoints. Accumulating the GPTQ Hessian across recurrence steps outperforms both one-step GPTQ and RTN on all nine checkpoints and recovers bf16-level accuracy on Huginn. These results separate two questions for PTQ on looped models: where quantization error enters the recurrence, and which states calibration sees.
• Abstract（参考訳）: ループ変換器は繰り返しステップでウェイトを再利用し、低ビット量子化を特に魅力的にする。 トレーニング後の標準的な量子化の2つの異なる障害モードを同定する。 Huginn-3.5Bでは、チャネルごとのINT4は主に非残留ループ-エントリアダプタで失敗する。 量子化層はアイデンティティパスなしで再帰状態を乱し、その結果のエラーは後続のステップで返される。 線形フィルタとマンバ状態空間モデルに関する制御された実験は、フィードバック露光が変圧器の外でも起こることを示した。 1ステップのGPTQベースラインは、ステップ0のアクティベーションからHessianを構築します。 7つのループアーキテクチャの9つのチェックポイントのうち、1ステップのGPTQは5つのチェックポイントのメインタスクメトリックのラウンド・トゥ・アレスト(RTN)よりも悪い。 GPTQ Hessianを反復ステップで蓄積すると、9つのチェックポイントすべてにおいて1ステップのGPTQとRTNの両方より優れ、Huginnではbf16レベルの精度が回復する。 これらの結果は、ループモデル上でのPTQに対する2つの質問を分離する。

関連論文リスト

• PRQuant: Permutation Residual Quantization for Low-Overhead Inference [24.634574269826164]
  重み量子化のためのトレーニング不要かつ低オーバーヘッドなフレームワークであるPRQuant(Permutation Residual Quantization)を提案する。 PRQuantは、ウェイト量子化エラーに最も寄与する入力チャネルを特定し、それらを連続したテールブロックに置換し、残りのウェイトサブテンソルをオフラインに構築する。 PRQuantは、ダウンプロジェクションの復元エラーを効果的に低減することを示す実験である。
  論文  参考訳（メタデータ） (2026-08-16T12:04:26Z)
• Q-Drift: Quantization-Aware Drift Correction for Diffusion Model Sampling [45.88028371034407]
  ポストトレーニング量子化(PTQ)は、大規模な拡散モデルを展開するための実践的な方法である。 本稿では,量子化誤差を暗黙の摂動として扱うQ-Driftを提案する。 Q-Driftは、キャリブレーションから時間的変動統計を推定し、実際には5つの完全精度/量子化キャリブレーションを必要とする。
  論文  参考訳（メタデータ） (2026-03-18T10:19:36Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
  ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。 現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。 本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
  論文  参考訳（メタデータ） (2024-07-09T12:06:03Z)
• PTQ4DiT: Post-training Quantization for Diffusion Transformers [52.902071948957186]
  ポストトレーニング量子化(PTQ)は、計算とメモリフットプリントを大幅に削減できる高速でデータ効率のソリューションとして登場した。 提案するPTQ4DiTは,DiTのための特別に設計されたPTQ手法である。 PTQ4DiTは8ビットの精度でDiTの量子化に成功した。
  論文  参考訳（メタデータ） (2024-05-25T02:02:08Z)
• RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers [2.114921680609289]
  視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。 RepQ-ViTは量子化と推論プロセスを分離する。 既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
  論文  参考訳（メタデータ） (2022-12-16T02:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。