論文の概要: KV Cache Quantization for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.39853v1
• Date: Thu, 29 Oct 2026 11:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:30:41.911583
• Title: KV Cache Quantization for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルのためのKVキャッシュ量子化
• Abstract要約: 拡散言語モデル(dLLMs)は、KVキャッシュ量子化が主にキャッシュ再構成問題であるという仮定を破る。 高速なdLLM推論は、デノナイジングステップ全体でKV状態を再利用するが、マスクされたトークンが明らかになれば、双方向のトークン表現が変更できる。 我々は、KIVIとKVQuantをFast-dLLMスタイルのプレフィックスとデュアルキャッシュの再利用に適用し、TRACEとdLLM-KVQを導入する。
• 参考スコア（独自算出の注目度）: 63.008471985859444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV cache quantization is well studied for autoregressive language models, where cached prefix states are exact under causal attention and quantization is mainly a cache reconstruction problem. Diffusion language models (dLLMs) break this assumption. Fast dLLM inference reuses KV states across denoising steps, but bidirectional token representations can change as masked tokens are revealed, so the reused cache may already differ from full recomputation before quantization is applied. We study KV cache quantization under this cache-reuse error. We adapt KIVI and KVQuant to Fast-dLLM-style prefix and dual cache reuse, and introduce TRACE and dLLM-KVQ. TRACE reconstructs feasible dLLM reveal trajectories from prompt-answer pairs, providing calibration states that match iterative masked decoding. dLLM-KVQ uses these trajectories to choose per-layer K-cache entries that remain in high precision according to output- and attention-level behavior metrics, while applying standard low-bit value quantization. Across LLaDA and Dream evaluations on GSM8K, HumanEval, MATH, and MBPP, dLLM-KVQ achieves the highest average score among quantized methods across the reported 4-bit and 2-bit prefix/dual cache settings.
• Abstract（参考訳）: KVキャッシュ量子化は自己回帰言語モデルにおいてよく研究されており、キャッシュプレフィックス状態は因果的注意の下で正確であり、量子化は主にキャッシュ再構成の問題である。 拡散言語モデル(dLLM)はこの仮定を破る。 高速なdLLM推論は、デノベーションステップ全体でKV状態を再利用するが、双方向トークン表現は、マスクされたトークンが明らかにされるにつれて変更可能であるため、再利用されたキャッシュは量子化が適用される前に、完全に再計算されるものと既に異なっている可能性がある。 このキャッシュ再利用誤差に基づいて,KVキャッシュの量子化について検討する。 我々は、KIVIとKVQuantをFast-dLLMスタイルのプレフィックスとデュアルキャッシュの再利用に適用し、TRACEとdLLM-KVQを導入する。 TRACEは、実現可能なdLLMを再構築し、プロンプトとアンサーのペアの軌跡を明らかにし、反復マスクの復号と一致するキャリブレーション状態を提供する。 dLLM-KVQはこれらのトラジェクトリを使用して、標準の低ビット値量子化を適用しながら、出力レベルと注意レベルの振る舞いの指標に従って高い精度で残る層ごとのKキャッシュエントリを選択する。 GSM8K、HumanEval、MATH、MBPPのLLaDAおよびDream評価において、dLLM-KVQは、報告された4ビットおよび2ビットプレフィックス/デュアルキャッシュ設定における量子化メソッドの平均スコアが最も高い。

関連論文リスト

• QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for Video World Models [58.40720767342501]
  ビデオワールドモデルは、生成中にKVキャッシュを格納することで、長距離時間一貫性を実現する。 既存の2ビットKVキャッシュ量子化法は、ビデオワールドモデルに適用した場合、時間的フレッカリングと視覚的劣化を引き起こす。 我々は,ビデオワールドモデルのためのトレーニング不要な2ビットKVキャッシュ量子化フレームワークQuantWMを提案する。
  論文  参考訳（メタデータ） (2026-09-22T13:50:54Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks [4.530056625101704]
  キャリブレーションフリーなKVキャッシュ量子化器であるKVarNを導入する。 この組み合わせはトークンスケールのエラーを解消し、既存のベースラインに対するエラーの蓄積を大幅に削減する。 KVarNは、2ビット精度で、MATH500、AIME24、HumanEvalを含む生成ベンチマーク上で、KV-cache量子化のための新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2026-06-02T10:34:56Z)
• WindowQuant: Mixed-Precision KV Cache Quantization based on Window-Level Similarity for VLMs Inference Optimization [50.768455096160984]
  既存の手法では、ビデオ言語モデル(VLM)におけるキー値(KV)キャッシュに対する混合精度量子化が提案されている。 本稿では,KVキャッシュの最適化にウィンドウ適応型混合精度量子化を用いるWindowQuantという新しい手法を提案する。 WindowQuantは、さまざまなデータセット上で最先端のVLMモデルとKVキャッシュ量子化手法より優れている。
  論文  参考訳（メタデータ） (2026-05-04T06:17:13Z)
• InnerQ: Hardware-aware Tuning-free Quantization of KV Cache for Large Language Models [4.4248984733976275]
  innerQはハードウェア対応のKVキャッシュ量子化スキームで、精度を犠牲にすることなく遅延を復号する。 内部次元上のキャッシュ行列をグループ化しながら、グループワイズ量子化を適用する。 Llamaモデルに対する評価実験により、InnerQは非量子化KVキャッシュに匹敵する数ショットのGSM8K性能を維持していることが示された。
  論文  参考訳（メタデータ） (2026-02-26T16:50:36Z)
• TaDA: Training-free recipe for Decoding with Adaptive KV Cache Compression and Mean-centering [10.427881558469442]
  量子化精度の高いKVキャッシュ圧縮のためのトレーニング不要なレシピであるTaDAを紹介する。 提案手法は,様々なコンテキスト長をサポートする複数のモデルに対して,大幅な精度向上を実現する。 本手法は,言語モデルにおけるスケーラブルで高性能な推論手法である。
  論文  参考訳（メタデータ） (2025-06-05T05:23:38Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• Cocktail: Chunk-Adaptive Mixed-Precision Quantization for Long-Context LLM Inference [24.184349246524587]
  CocktailはKVキャッシュを最適化するためにチャンク適応型混合精度量子化を採用している。 チャンクレベルの量子化探索は、KVキャッシュチャンクの最適ビット幅構成を決定する。 Cocktailは、さまざまなモデルやデータセット上で、最先端のKVキャッシュ量子化手法より優れている。
  論文  参考訳（メタデータ） (2025-03-30T03:20:34Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。