論文の概要: Quantizing Recursive Reasoning Models

• arxiv url: http://arxiv.org/abs/2607.16237v1
• Date: Thu, 25 Jun 2026 21:44:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.05048
• Title: Quantizing Recursive Reasoning Models
• Title（参考訳）: 再帰的推論モデルの量子化
• Abstract要約: 再帰的推論モデルは、多くの洗練されたステップにコンパクトで重み付けされたブロックを適用することで、ハードパズルを解く。 8ビット量子化は精度を維持するが、テンソルごとの4ビットフォーマットに移行すると、体系的なバイアスが蓄積される。 この崩壊はビット幅や数値形式ではなく,アクティベーションスケーリングによって引き起こされることを示す。
• 参考スコア（独自算出の注目度）: 11.07116226562537
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive reasoning models solve hard puzzles by applying compact, weight-tied blocks over many refinement steps. Because these blocks are reused many times, quantizing them creates a unique dynamical problem: the quantization error is incurred at every step. While 8-bit quantization (integer or float) preserves accuracy, moving to a per-tensor 4-bit format causes a systematic bias to accumulate. The ensuing drift catastrophically degrades exact-solution accuracy on Sudoku from 84.1% to 0.0% (only ~25% of cells correct). In this work, we show that this collapse is caused by activation-scaling granularity rather than bit-width or number format. Crucially, moving to per-block scaling completely restores the transition. To implement this, we apply MXInt4, a blockwise integer activation format, to recursive reasoning models. It is competitive with blockwise float formats on our tasks, while keeping integer elements and power-of-two block scales. Finally, recursion depth and reuse modulate quantization sensitivity, with the deepest architecture we test (the EqR equilibrium model) the most sensitive. Yet blockwise scaling overcomes this vulnerability, staying robust across these architectures and transferring to the open-ended ARC-AGI benchmark.
• Abstract（参考訳）: 再帰的推論モデルは、多くの洗練されたステップにコンパクトで重み付けされたブロックを適用することで、ハードパズルを解く。 これらのブロックは何度も再利用されるため、量子化はユニークな動的問題を生じさせ、量子化エラーは各ステップで発生する。 8ビットの量子化(整数やフロート)は精度を維持するが、テンソルごとの4ビットフォーマットに移行すると、体系的なバイアスが蓄積される。 その後の漂流は、スドクの正確な解法精度を84.1%から0.0%に低下させる(細胞の25%程度しか正しい)。 本研究では,ビット幅や数値形式ではなく,アクティベーションスケーリングの粒度が原因であることを示す。 重要なのは、ブロック単位のスケーリングに移行することで、移行を完全に復元することです。 これを実現するために,ブロックワイズ整数活性化形式MXInt4を再帰的推論モデルに適用する。 整数要素と2つのブロックスケールを維持しながら、タスクのブロックワイズなフロートフォーマットと競合します。 最後に、再帰深さと再利用は量子化感度を変調し、最も深いアーキテクチャ(EqR平衡モデル)が最も感度が高い。 しかし、ブロックワイズスケーリングはこの脆弱性を克服し、これらのアーキテクチャ全体で堅牢を維持し、オープンなARC-AGIベンチマークに移行する。

関連論文リスト

• What Survives When You Compress a Recursive Reasoner for the Edge? [15.460381731793975]
  再帰的推論モデルは、潜伏状態を繰り返し更新することで、数百万のパラメータだけで複雑な構造化タスクを解くことができる。 攻撃的な圧縮は局所的な予測を保存するが、グローバルな推論を損なう。 我々は,この損傷とその回復を予測できるラベルのない信号として,フル精度推論経路に類似した搬送軌道の忠実さを導入する。
  論文  参考訳（メタデータ） (2026-06-25T00:47:15Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference [8.136601122570347]
  後学習量子化(PTQ)は、より大きな言語モデル(LLM)のストレージと計算要求を、追加のトレーニングコストなしで削減するための有望なアプローチである。 最近のPTQ研究は、主に8ビット以上の活性化を維持しながら、重量のみを8ビット未満に定量化することに焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-07T23:06:03Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• Accurate Block Quantization in LLMs with Outliers [0.6138671548064355]
  極大規模LLMの推理需要はここ数カ月で大きく伸びている。 この問題は処理中のシーケンスの長さが爆発的に増加することで増大する。 重みとアクティベーションの両方の正確な量子化を可能にする様々な量子化技術が提案されている。
  論文  参考訳（メタデータ） (2024-03-29T12:15:06Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。