論文の概要: FAD-KV: Adaptive Dictionary KV Caching for Efficient Reasoning Decoding
- arxiv url: http://arxiv.org/abs/2610.37921v1
- Date: Tue, 27 Oct 2026 20:05:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.326732
- Title: FAD-KV: Adaptive Dictionary KV Caching for Efficient Reasoning Decoding
- Title(参考訳): FAD-KV: 効率的な推論デコードのための適応辞書KVキャッシング
- Abstract要約: キーバリュー(KV)キャッシングは、大規模言語モデルのコアメカニズムである。
我々は,textbfFast textbfAdaptive textbfDictionary KVキャッシングフレームワークであるFAD-KVを提案する。
- 参考スコア(独自算出の注目度): 56.15700232387851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Key-value (KV) caching is a core mechanism in large language models, where intermediate key and value representations are stored to accelerate autoregressive decoding. As generation length increases, KV cache memory and computation grow linearly, making compression critical for efficient long-output reasoning. Dictionary-based sparse KV compression is appealing because it represents each token's KV states as a sparse combination of learned basis elements (atoms) in a dictionary, preserving token-level structure without enforcing a global low-rank constraint. However, existing dictionary-based methods face two practical limitations during decoding: iterative sparse coding methods such as Orthogonal Matching Pursuit add decoding-time overhead, and static dictionaries may mismatch evolving KV distributions under test-time generation. While adaptive dictionary updates can reduce this mismatch, naive append-only strategies lead to dictionary growth during generation. We propose FAD-KV, a \textbf{F}ast \textbf{A}daptive \textbf{D}ictionary KV caching framework for efficient reasoning decoding. FAD-KV integrates (i) a screening-based sparse coding scheme, where a one-shot Top-\(n\) selection identifies a small candidate pool followed by lightweight coefficient refinement, and (ii) a fixed-size dictionary adaptation mechanism that reuses inactive atoms instead of expanding the dictionary. By controlling both sparse coding cost and adaptive dictionary growth, FAD-KV provides a memory-bounded and computation-efficient KV compression framework for long reasoning workloads. Experiments on reasoning and long-context benchmarks show that FAD-KV achieves a strong quality-efficiency trade-off while avoiding unbounded dictionary growth during decoding.
- Abstract(参考訳): キー・バリュー・キャッシュ(キー・バリュー・キャッシング、英: Key-value cache、KV)は、キーと値の表現を格納して自己回帰デコーディングを高速化する、大規模言語モデルにおけるコアメカニズムである。
生成長が増加するにつれて、KVキャッシュメモリと計算は線形に増加し、効率的な長期出力推論のために圧縮が重要となる。
辞書ベースのスパースKV圧縮は、各トークンのKV状態が、グローバルな低ランク制約を課さずにトークンレベルの構造を保存するために、辞書における学習ベース要素(原子)のスパース結合として表されるため、魅力的である。
しかし、既存の辞書ベースの手法はデコード中に2つの実用的な制限に直面している: オルソゴンマッチングのような反復的なスパース符号法はデコード時のオーバーヘッドを追加し、静的辞書はテスト時間生成の下で進化するKV分布を誤マッチする可能性がある。
適応的な辞書更新は、このミスマッチを減らすことができるが、単純で追加のみの戦略は、世代間の辞書の成長につながる。
本稿では、効率的な推論復号のためのFAD-KV, a \textbf{F}ast \textbf{A}daptive \textbf{D}ictionary KVキャッシングフレームワークを提案する。
FAD-KV 統合
一 単発のTop-\(n\)選択で小さな候補プールを識別し、次いで軽量な係数補正を行うスクリーニングベーススパース符号化方式
(II)辞書を拡張する代わりに不活性な原子を再利用する固定サイズの辞書適応機構。
FAD-KVは、スパース符号化コストと適応辞書の成長の両方を制御することにより、長い推論処理のためにメモリバウンドで計算効率のよいKV圧縮フレームワークを提供する。
推論と長文ベンチマークの実験により、FAD-KVはデコード中の非有界辞書の成長を回避しつつ、強い品質効率のトレードオフを達成することが示された。
関連論文リスト
- SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference [37.37437232987781]
SeKVは、コンテキストをエントロピー誘導セマンティックスパンに整理する、解像度適応型セマンティックKVキャッシュである。
本研究では,SeKVが最強のセマンティック圧縮ベースラインよりも平均5.9%向上していることを示す。
128KコンテキストでのフルKVキャッシュに対して、GPUメモリを53.3%削減する。
論文 参考訳(メタデータ) (2026-06-30T05:18:02Z) - Self-Pruned Key-Value Attention: Learning When to Write by Predicting Future Utility [31.124813359673073]
我々は,将来のKVユーティリティを予測するメカニズムであるSP-KV(Self-Pruned Key-Value Attention)を導入する。
軽量ユーティリティ予測器は各キーと値のペアをスコアし、最近のKVは常にローカルウィンドウ経由で利用できるが、古いペアはキャッシュに書き込まれる。
このメカニズムは入力に適応し、典型的にはKVキャッシュサイズを3ドルから10ドルに削減する。
論文 参考訳(メタデータ) (2026-05-13T18:58:16Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳(メタデータ) (2026-02-08T15:14:36Z) - SentenceKV: Efficient LLM Inference via Sentence-Level Semantic KV Caching [5.545249777535219]
SentenceKVは、セマンティックコヒーレンスを保持しながら推論効率を向上させるために設計された、新しいKVキャッシュアプローチである。
本研究では,SentenceKVがモデル精度を損なうことなく,効率とメモリ使用量の両方において最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2025-04-01T17:08:57Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳(メタデータ) (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。