論文の概要: RECAP: Calibrating Low-Bit Reasoning Models on the History They Read

• arxiv url: http://arxiv.org/abs/2610.15259v1
• Date: Sun, 11 Oct 2026 01:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.181409
• Title: RECAP: Calibrating Low-Bit Reasoning Models on the History They Read
• Title（参考訳）: RECAP: 読み書き履歴に関する低ビット推論モデルのキャリブレーション
• Abstract要約: 学習後の量子化法は、彼らが読んだ歴史に関する推論モデルを校正する。 本稿では,学習後量子化手法RECAPについて述べる。
• 参考スコア（独自算出の注目度）: 43.47308086162733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-bit quantization reduces the cost of serving reasoning models but can substantially degrade long chains of thought. Each step reads cached keys and values spanning thousands of tokens, allowing quantization errors to accumulate along the trajectory. Standard calibration operates on short segments that omit the earlier context needed by later reasoning steps. Even when this context is retained, cache reconstruction error alone does not capture how quantization errors affect subsequent attention. We present RECAP, a post-training quantization method that calibrates reasoning models on the history they read. Dynamic-prefix calibration separates long historical context from short-block reconstruction. It regenerates prefix keys and values with the current quantizer and rotates the active block to supervise every position along the trajectory. Prefix read geometry further supervises historical cache errors according to their effects on attention outputs, weighting key and value errors asymmetrically. With both components applied only during calibration, RECAP outperforms the baseline across multiple reasoning models and quantization settings. Under W4A4KV4, RECAP improves accuracy over the baseline by 13.3 percentage points on MATH500 with DeepSeek-R1-Distill-Qwen-1.5B and 15.8 points on AIME-120 with Qwen3-4B. These results highlight the importance of preserving historical dependencies during calibration for low-bit reasoning.
• Abstract（参考訳）: 低ビット量子化は推論モデルを提供するコストを低減させるが、思考の長い連鎖を著しく低下させることができる。 各ステップは数千のトークンにまたがるキャッシュされたキーと値を読み出し、量子化エラーを軌跡に沿って蓄積する。 標準キャリブレーションは、後続の推論ステップで必要とされる以前のコンテキストを省略する短いセグメントで動作する。 このコンテキストを維持しても、キャッシュ再構成エラーだけでは、量子化エラーがその後の注意にどのように影響するかをキャプチャできない。 本稿では,学習後量子化手法RECAPについて述べる。 動的プリフィックスキャリブレーションは、長い歴史的コンテキストと短いブロック再構築を分離する。 プリフィックスキーと値をカレント量子化器で再生し、アクティブブロックを回転させて軌道に沿った全ての位置を監督する。 リードジオメトリは、アテンション出力、キーと値のエラーを非対称に重み付けすることで、履歴キャッシュエラーをさらに監視する。 両方のコンポーネントはキャリブレーション時にのみ適用されるため、RECAPは複数の推論モデルと量子化設定でベースラインを上回っている。 W4A4KV4では、RECAPはMATH500で13.3ポイント、DeepSeek-R1-Distill-Qwen-1.5Bで15.8ポイント、Qwen3-4BでAIME-120で精度を向上させる。 これらの結果は,低ビット推論におけるキャリブレーションにおける履歴依存関係の保存の重要性を強調した。

関連論文リスト

• Test-Time Adaptation of Quantized ViTs via Single-Pass Quantizer-Aligned Recalibration [10.872071414434961]
  トレーニング後の量子化は、視覚変換器(ViT)をエッジ計算やメモリ予算に適合させる標準的な方法である。 本稿では,量子化 ViT に適した単一パスTTA法であるQuarizer-Aligned Recalibration (QuAR) を提案する。 QuARは3,4-,6-,8-bitの重み/アクティベーション精度で最先端のバックプロップフリーTTA法の中で最高の平均精度を達成している。
  論文  参考訳（メタデータ） (2026-10-06T13:48:33Z)
• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
  デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:40Z)
• PulseQuant: Propagation-Guided Subspace Correction for 4-Bit Video Diffusion Transformers [46.65151972014436]
  PulseQuantは、軌道感度とアクティベーション幾何を組み合わせてオフラインキャリブレーションを誘導する4ビット後量子化法である。 制御された介入は、短水平伝播誤差が即時ブロック出力誤差よりも確実に最終潜時誤差を予測することを示している。
  論文  参考訳（メタデータ） (2026-09-27T09:04:51Z)
• OBC-Prune: Outcome-Based Calibration for Large Reasoning Model Pruning [4.219677071028101]
  大きな推論モデルは、答えの前に長い連鎖トレースを生成し、大きな推論オーバーヘッドを生み出します。 最近の作業では、ジェネリックデータセットではなく、モデル自身のロールアウトを校正するが、すべての推論トークンを均一に扱う。 本稿では,このギャップを埋めるために,大規模推論モデルプルーニング(OBC-Prune)のアウトカムベースを提案する。
  論文  参考訳（メタデータ） (2026-09-15T22:30:48Z)
• KV Cache Compression Through the Lens of Transform Coding [9.884224071643606]
  本稿では,アテンション・アウェア・トランスフォーメーション・コーディング(AATC)を紹介し,アテンション・アウェア・トランスフォーメーションの歪みを最小限に抑えるために,キャリブレーション・セット上のビットを割り当てる。 提案手法は, ほぼロスレスの精度を約5.8倍の圧縮で達成する一方, 各ベースラインは少なくともいくつかの設定で劣化する。
  論文  参考訳（メタデータ） (2026-08-14T11:08:01Z)
• Enhancing Post-Training Quantization via Future Activation Awareness [84.76726857601753]
  ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)を微調整なしで圧縮する方法として広く用いられている。 本稿では、将来の層活性化を利用して量子化を導出するFuture-Aware Quantization (FAQ)を提案する。 FAQは、後方パス、データ再構成、チューニングを必要とせず、無視できる余分なコストで、従来手法よりも一貫してパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2026-01-28T12:03:30Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。