論文の概要: PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

• arxiv url: http://arxiv.org/abs/2610.29545v1
• Date: Wed, 21 Oct 2026 10:31:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.244305
• Title: PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
• Title（参考訳）: PACE: 4ビットリカレント状態の周期的およびチャネル適応符号化
• Abstract要約: 我々は、ポストホック4ビット状態量子化器であるPACEを紹介する。 PACEは、プレフィル中にチャンクされたカーネルが既にチャンク毎に1回実行しているように、数個のトークンが生成される度に1回だけ状態をラウンドする。 PACEは、各量子化スケールを1列で共有する。
• 参考スコア（独自算出の注目度）: 11.10744578461919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear-attention language models keep their context in a recurrent state of fixed size, where an inference system stores one copy of this state for every sequence it decodes at the same time. Storing the state at lower precision therefore lets more sequences share an accelerator. Existing state quantizers round the state after every generated token and report that four bits lose accuracy unless the bit width is raised or the model is fine-tuned.\par We introduce PACE, a post-hoc four-bit state quantizer. PACE rounds the state only once every few generated tokens, as chunked kernels already do once per chunk during prefill, and keeps the tokens generated in between in a small buffer. Rounding less often reduces the error that accumulates in the state. Additionally, we find that the large entries of the gated-delta state gather in columns, because some channels of the update written at each token remain large across many tokens. PACE therefore shares each quantization scale within one column. It also keeps the heads that retain rounding error longest at eight bits. On four hybrid models from 4B to 35B parameters, PACE with mixed four- and eight-bit heads is competitive with eight-bit DAMP on the three larger models at about two thirds of its memory, PACE with four-bit heads throughout scores higher than Q-Mamba at equal memory, and rounding every few tokens preserves the decoding speedup of the buffer.
• Abstract（参考訳）: 線形アテンション言語モデルは、コンテキストを一定サイズのリカレントな状態に保ち、推論システムは、同時にデコードされるシーケンス毎に、この状態のコピーを1つ格納する。 そのため、より低い精度で状態を保持することで、より多くのシーケンスが加速器を共有することができる。 既存の状態量子化器は、生成されたトークン毎に状態の周りを回り、4ビットがビット幅を上げない限り精度が低下し、モデルが微調整される。 ホック後の4ビット状態量子化器である PACE を紹介する。 PACEは、チャンクされたカーネルがプリフィル中にチャンク毎に1回実行しているように、少数の生成されたトークンの1度だけ状態をラウンドし、小さなバッファ内で生成されたトークンを保持する。 ラウンドングは、状態に蓄積されるエラーを少なくする。 さらに、ゲートデルタ状態の大きなエントリは、各トークンに書き込まれた更新のチャネルが、多くのトークンにわたって大きなままであるため、列にまとめられる。 したがって、PACEは各量子化スケールを1列で共有する。 また、ラウンドエラーを8ビットで長く保持するヘッドも保持する。 4Bパラメーターから35Bパラメーターの4つのハイブリッドモデルにおいて、4ビットと8ビットの混在PACEは、メモリの約3分の2で3つの大きなモデル上で8ビットのDAMPと競合する。

関連論文リスト

• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
  デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:40Z)
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• SketchSSM: Write to the Full State, Read from a Compact Sketch [38.2975311144802]
  ハイブリッドアテンションモデルは、ほとんどのソフトマックスアテンション層を線形アテンションで置き換える。 ReplaySSMはキーと値のバッファリングによって状態を更新するが、新しいクエリにはフルステートの読み取りが必要である。 我々はSketchSSMを導入し、読み取りを近似しながらフルステート更新を保存する。
  論文  参考訳（メタデータ） (2026-09-27T00:31:35Z)
• MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization [27.433770037419624]
  大規模言語モデル(LLM)のための統一的な4ビット量子化パラダイムを提案する。 MosaicQuantは、全重量行列を高密度な4ビット基底成分に量子化し、不純物は忠実に捕獲され、不純物は必然的に定量化される。 LLaMA3とQwen3の実験では、MosaicQuantはFP16に近い精度を維持し、W16A16ベースライン上で最大1.24タイムのスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-14T07:43:43Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。