論文の概要: Low-Bit GDN Recurrent-State Quantization: Global Gradient-aware Allocation and Pure-Write Sliding Windows

• arxiv url: http://arxiv.org/abs/2610.39931v1
• Date: Thu, 29 Oct 2026 12:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.504785
• Title: Low-Bit GDN Recurrent-State Quantization: Global Gradient-aware Allocation and Pure-Write Sliding Windows
• Title（参考訳）: 低ビットGDNリカレント量子化:グローバルグラディエント対応アロケーションとPure-Write Sliding Windows
• Abstract要約: 我々は,精度の確保と最近の情報保守に対処するため,Global Gradient-Aware AllocationとPure-Write Sliding Windowを提案する。 精度の高い再配置とウィンドウメンテナンスの両方がタスクスコアを改善し、過度に長いアウトプットを軽減します。
• 参考スコア（独自算出の注目度）: 2.0586349786778255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear attention stores historical information in a recurrent state of fixed size, providing a compact memory representation for long-context inference. Reducing state precision further lowers per-request storage requirements, but quantized writeback errors enter subsequent recurrences, degrade prediction quality on long-reasoning tasks, and can be accompanied by repetitive generation and excessively long outputs. We propose Global Gradient-aware Allocation (GGA) and the Pure-Write Sliding Window (PW) to address precision allocation and recent-information maintenance. GGA combines candidate quantization residuals with gradient sensitivity to future prediction loss to allocate head bit widths under a model-wide mixed-precision budget. PW independently maintains recent pure writes as FP8 vector pairs, propagates them through the full GDN state transition, and merges them into the low-bit historical state only after they leave the window. Across seven evaluations on Qwen3.5-4B/9B, GGA allocation alone improves over STEPQuant@4 by 19.48/29.84 percentage points. Adding PW-S8 yields seven-task macro-averages of 69.83%/78.63%, improving over STEPQuant@4 by 38.39/41.21 percentage points, respectively. Both precision reallocation and window maintenance improve task scores while mitigating excessively long outputs: at @6, GGA reduces mean generation length, averaged equally across tasks, by 10.45%/14.65% relative to STEPQuant; adding PW-S8 to GGA@4 further reduces mean generation length by 32.32%/36.77%. Comparisons at similar storage budgets further show that using additional capacity to maintain recent writes yields higher task scores and shorter mean outputs than solely increasing the bit width of the accumulated state.
• Abstract（参考訳）: リニアアテンションは、履歴情報を一定サイズのリカレントな状態に保存し、長文推論のためのコンパクトなメモリ表現を提供する。 状態精度の低下により、要求毎のストレージ要件はさらに低下するが、量子化された書き込みエラーがその後の繰り返しに入り、長期化タスクの予測品質が低下し、繰り返し生成と過度に長い出力が伴う。 本稿では,GGA(Global Gradient-Aware Allocation)とPW(Pure-Write Sliding Window)を提案する。 GGAは、候補量子化残差と将来の予測損失に対する勾配感度を組み合わせて、モデルワイド混合精度予算の下でヘッドビット幅を割り当てる。 PWは、FP8ベクトル対として最近の純粋な書き込みを独立に維持し、それらを完全なGDN状態遷移を通じて伝播し、ウィンドウを離れた後だけ、それらを低ビットの歴史的状態にマージする。 Qwen3.5-4B/9Bの7つの評価において、GGAアロケーションだけでSTEPQuant@4よりも19.48/29.84ポイント向上している。 PW-S8を追加すると、69.83%/78.63%の7タスクのマクロアベラが得られ、それぞれSTEPQuant@4よりも38.39/41.21ポイント向上した。 6で、GGAはタスク全体の平均生成長を10.45%/14.65%削減し、PW-S8をGGA@4に加えると平均生成長を32.32%/36.77%削減する。 類似のストレージ予算の比較では、最近の書き込みを維持するために追加のキャパシティを使用することで、蓄積された状態のビット幅だけを増大させるよりも、タスクスコアと平均出力がより短くなります。

関連論文リスト

• STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization [69.66473136337653]
  デルタルール再帰状態の学習後量子化のためのフレームワークSTEPQuantを提案する。 STEPQuantはエラーのマグニチュードとメモリ寿命に応じて精度を割り当てる。 5倍以上のリカレントステート圧縮を実現し、全サービスメモリを最大68.7%削減する。
  論文  参考訳（メタデータ） (2026-09-29T17:59:40Z)
• LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
  本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。 LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。 FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
  論文  参考訳（メタデータ） (2026-09-29T17:59:34Z)
• DScale: Scaling Block-Diffusion Speculative Decoding with Adaptive Verification [23.045325370450257]
  ブロック拡散投機的復号法は、検証パディング、拒否された候補、可変接頭辞と固定形グラフの不整合に悩まされる。 私たちはDScaleを紹介し、ドラフトアアーキテクチャ、ウェイト、および完全なドラフトの長さを保存します。
  論文  参考訳（メタデータ） (2026-09-29T13:17:43Z)
• Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
  ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。 ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
  論文  参考訳（メタデータ） (2026-09-03T17:04:26Z)
• DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization [25.544698411141642]
  Gated DeltaNet (GDN) やKim Delta Attention (KDA) を取り入れた最近の言語モデルは、ほとんどの層でKVキャッシュを固定サイズのリカレントステートに置き換えることで、このコストを削減している。 これらのリカレントステートは一般的にFP32に格納され、かなりのGPUメモリを消費する。 我々は,GDNおよびKDAに基づく言語モデルにおいて,再帰状態の学習後の量子化を初めて研究する。
  論文  参考訳（メタデータ） (2026-08-27T09:11:48Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。