論文の概要: DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
- arxiv url: http://arxiv.org/abs/2608.27513v1
- Date: Thu, 27 Aug 2026 09:11:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.094217
- Title: DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
- Title（参考訳）: DAMP: 劣化に注意する混合精度のリカレント量子化
- Abstract要約: Gated DeltaNet (GDN) やKim Delta Attention (KDA) を取り入れた最近の言語モデルは、ほとんどの層でKVキャッシュを固定サイズのリカレントステートに置き換えることで、このコストを削減している。
これらのリカレントステートは一般的にFP32に格納され、かなりのGPUメモリを消費する。
我々は,GDNおよびKDAに基づく言語モデルにおいて,再帰状態の学習後の量子化を初めて研究する。
- 参考スコア（独自算出の注目度）: 25.544698411141642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Softmax attention stores key and value vectors for every preceding token, causing inference memory to grow with sequence length. Recent language models incorporating Gated DeltaNet (GDN) or Kimi Delta Attention (KDA) reduce this cost by replacing the KV cache in most layers with fixed-size recurrent states. However, these recurrent states are commonly stored in FP32 and consume substantial GPU memory; their updates are memory-bandwidth bound and contribute significantly to decoding latency. To our knowledge, we are the first to study post-training quantization of recurrent states in GDN and KDA based language models. We find that uniform quantization provides a poor accuracy--storage trade-off: INT8 and FP8 already degrade accuracy on complex reasoning tasks, while INT4 and NVFP4 reduce it to near zero. We further find that most quantization-error energy is concentrated in a small subset of channels and that the relative decay strength of state channels remains stable across prompts and tasks. Motivated by these findings, DAMP uses both quantization-error energy and decay-based persistence to identify high-risk channels during offline calibration. It stores these channels at higher precision and the remainder in INT8. We evaluate DAMP on Qwen3.6-35B and Kimi-Linear-48B across six benchmarks covering mathematical reasoning, general reasoning, and code generation. At 9.9 bits per state value, DAMP maintains average accuracy close to the FP32 baseline. DAMP reduces recurrent-state storage by 69.1%, accelerates the recurrent-state update kernel by up to 2.01x, and lowers full-model TPOT by up to 10.9%.
- Abstract（参考訳）: ソフトマックスアテンションは、先行するトークンごとにキーと値ベクトルを格納し、推論メモリはシーケンス長で成長する。
Gated DeltaNet (GDN) やKim Delta Attention (KDA) を取り入れた最近の言語モデルは、ほとんどの層でKVキャッシュを固定サイズのリカレントステートに置き換えることで、このコストを削減している。
しかしながら、これらのリカレントステートは一般的にFP32に格納され、かなりのGPUメモリを消費する。
我々の知る限り、我々はGDNおよびKDAに基づく言語モデルにおける繰り返し状態の学習後の量子化を初めて研究している。
INT8とFP8は、複雑な推論タスクで既に精度を低下させており、INT4とNVFP4は、それをほぼゼロに減らしている。
さらに、ほとんどの量子化エラーエネルギーは、チャネルの小さなサブセットに集中しており、状態チャネルの相対的な崩壊強度は、プロンプトやタスクにわたって安定である。
これらの発見に触発されたDAMPは、量子化エラーエネルギーと減衰に基づく持続性の両方を用いて、オフラインキャリブレーション中の高リスクチャネルを識別する。
これらのチャネルを高い精度で保存し、残りはINT8に格納する。
Qwen3.6-35B と Kimi-Linear-48B 上の DAMP を,数学的推論,一般推論,コード生成を含む6つのベンチマークで評価した。
状態値あたりの9.9ビットでは、DAMPはFP32ベースラインに近い平均精度を維持する。
DAMPはリカレントステートストレージを69.1%削減し、リカレントステート更新カーネルを2.01xまで高速化し、フルモデルTPOTを最大10.9%削減する。
関連論文リスト
- Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。
NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。
ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
論文 参考訳（メタデータ） (2026-09-03T17:04:26Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Once-for-All Channel Mixers (HYPERTINYPW): Generative Compression for TinyML [0.0]
提案するHYPER-TINYPWは圧縮・アズ・ジェネレーション方式で、ほとんどのPW重みを生成された重みに置き換える。
共有マイクロMLPは、レイヤごとの小さなコードからロード時に一度PWカーネルを合成し、それらをキャッシュし、標準的な整数演算子で実行する。
商用のMCUランタイムを保存し、ワンオフでのみ追加する。
論文 参考訳（メタデータ） (2026-03-26T01:08:52Z) - KANtize: Exploring Low-bit Quantization of Kolmogorov-Arnold Networks for Efficient Inference [1.5102260054654923]
Kolmogorov-Arnold Networks (KANs) は、MLP(Multi-Layer Perceptrons)を上回る可能性について注目されている。
本研究では,低ビット量子化がkanに与える影響と,計算複雑性とハードウェア効率に与える影響について検討する。
論文 参考訳（メタデータ） (2026-03-18T00:32:11Z) - IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference [11.526305104815357]
IntAttentionは、最初の完全整数型、プラグイン・アンド・プレイアテンションパイプラインで、再トレーニングは行わない。
IntAttentionは、スペーサリティ対応クリッピング、32エントリルックアップテーブル近似、直接整数正規化を統合している。
提案手法は,ARMv8 CPU上の従来のINT8アテンションパイプラインよりも最大3.7倍,FP16ベースラインより61%のエネルギー削減を実現している。
論文 参考訳（メタデータ） (2025-11-26T15:46:22Z) - Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。
SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。
したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文 参考訳（メタデータ） (2025-05-01T06:47:45Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - Sub 8-Bit Quantization of Streaming Keyword Spotting Models for Embedded
Chipsets [7.5195830365852085]
本稿では,250Kパラメータのフィードフォワード,ストリーミング,ステートフリーなキーワードスポッティングモデルの全コンポーネントに対する,新しいサブ8ビット量子化対応トレーニングアルゴリズムを提案する。
大規模実験を行い、26,000時間の非特定生産、遠距離場および近距離場音声データをトレーニングする。
論文 参考訳（メタデータ） (2022-07-13T17:46:08Z) - Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech
Recognition [65.7040645560855]
ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。
全精度ベースラインモデルと比較すると,wrの変化は無視できる。
Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
論文 参考訳（メタデータ） (2021-03-31T06:05:40Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。