論文の概要: DASC: Decay-Aware State Compression for Hybrid Linear-Attention Serving

• arxiv url: http://arxiv.org/abs/2608.30386v1
• Date: Mon, 31 Aug 2026 07:42:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.290112
• Title: DASC: Decay-Aware State Compression for Hybrid Linear-Attention Serving
• Title（参考訳）: DASC:ハイブリッドリニアアテンションにおける状態圧縮
• Abstract要約: 我々はGated DeltaNet(GDN)とKim Delta Attention(KDA)の崩壊構造を分析する。 異なる頭とチャネルが、明らかに異なる時間スケールでプレフィックス情報を保持していることがわかり、それは、エンプレメンテーション水平線(enmphretention horizons)と呼ばれる。 本研究では, モデル重みから保持地平線を導出し, 長期状態単位を選択し, タグ付き状態チェックポイントレイアウトにまとめるEmphDecay-Aware State Compression (DASC)を提案する。
• 参考スコア（独自算出の注目度）: 21.021503976060355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid linear-attention architectures have recently scaled to large open-weight models, offering quality competitive with full attention while substantially reducing key/value (KV) cache growth. However, their in-place recurrent-state updates complicate cache management: prefix reuse requires state checkpoints alongside full-attention KV, while storing state checkpoints in full increases memory pressure, leading to more evictions and repeated prefill. By analyzing the decay structure of Gated DeltaNet (GDN) and Kimi Delta Attention (KDA), we find that different heads and channels retain prefix information over markedly different timescales, which we term \emph{retention horizons}. This variation suggests substantial compression potential in persistent state checkpoints. Building on this observation, we introduce \emph{Decay-Aware State Compression} (DASC), which derives retention horizons from model weights, selects long-horizon state units, and packs them into a ragged state checkpoint layout. To integrate efficiently with tensor-parallel inference engines, DASC furtherly balances compressed state checkpoints across TP ranks. On reuse, DASC either zero-fills omitted units or refreshes them from a bounded suffix with additional compute cost. Across retrieval and end-to-end reasoning benchmarks on Kimi-Linear, conservative DASC configurations remain close to full caching while compressing KDA recurrent state checkpoints by $2.63\times$. Under fixed state checkpoint memory budgets, the resulting capacity gains reduce mean Time to First Token (TTFT) by 42.6\% and improve input throughput by 68.4\%. At larger compression ratio, suffix refresh recovers much of the accuracy lost to more aggressive omission, at the cost of additional replay computation. Qwen with GDN exhibits a similar quality--efficiency trend, showing that DASC extends from channel-wise KDA to head-wise GDN.
• Abstract（参考訳）: ハイブリッドリニアアテンションアーキテクチャは、最近大規模なオープンウェイトモデルに拡張され、キー/バリュー(KV)キャッシュの増大を著しく低減しつつ、完全な注意を払って品質に競争力を与えている。 プレフィックスの再利用には、フルアテンションKVとともに状態チェックポイントが必要である一方で、状態チェックポイントを完全なメモリプレッシャーに格納することで、より多くの消去と繰り返しプリフィルが発生する。 Gated DeltaNet (GDN) と Kimi Delta Attention (KDA) の崩壊構造を解析することにより、異なるヘッドとチャネルが、著しく異なる時間スケール上でプレフィックス情報を保持していることが分かる。 この変化は、永続状態チェックポイントにおけるかなりの圧縮ポテンシャルを示唆している。 この観測に基づいて,モデル重みから保持地平線を導出し,長い水平状態単位を選択し,引きずり出した状態チェックポイントレイアウトにまとめる,emph{Decay-Aware State Compression} (DASC)を導入する。 テンソルパラレル推論エンジンと効率的に統合するために、DASCはTPランク間で圧縮された状態チェックポイントのバランスをとる。 再利用では、DASCはゼロフィル単位を省略するか、追加の計算コストで有界接尾辞からリフレッシュする。 Kimi-Linearの検索とエンドツーエンドの推論ベンチマークを通じて、保守的なDASC構成は完全なキャッシュに近づき、KDAの繰り返し状態チェックポイントを2.63\times$に圧縮する。 固定状態チェックポイントメモリの予算では、結果として得られる能力は平均時間から最初のトーケン(TTFT)を42.6\%削減し、入力スループットを68.4\%改善する。 より大きな圧縮比では、サフィックスリフレッシュは、さらなるリプレイ計算を犠牲にして、より攻撃的な省略のために失われる精度の多くを回復させる。 GDNのQwenも同様の品質-効率の傾向を示し、DASCがチャネルワイドKDAからヘッドワイドGDNまで広がることを示している。

関連論文リスト

• BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference [20.58039191111583]
  大型共振モデル (LRM) は拡張型チェイン・オブ・ソート (CoT) 生成により優れた問題解決を実現する。 その結果、キー値(KV)キャッシュはシーケンス長とともに線形に成長し、深刻なメモリボトルネックを発生させる。 本研究では,各グローバルなクエリクラスタに対して,Beaconクエリ,コンパクトな表現を格納する,トレーニング不要なKVキャッシュ圧縮手法であるBeaconKVを提案する。
  論文  参考訳（メタデータ） (2026-09-04T10:23:16Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• ResKV: Reconstructing Omitted Attention Contributions for Fixed-Budget KV Cache Compression [25.24197102648478]
  KVキャッシュ圧縮は、効率的な長文推論に不可欠である。 マージベースの代替手段は、より多くの情報を保持するが、正確に保持すべきキーと値を摂動することができる。 本稿では,固定KV予算を正確な主キャッシュとコンパクトな残留キャッシュに分割するResKVを提案する。
  論文  参考訳（メタデータ） (2026-07-31T16:16:45Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
  DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。 DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
  論文  参考訳（メタデータ） (2026-07-07T17:29:01Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• Top-K Retrieval with Fixed-Size Linear-Attention Completion: Backbone- and KV-Format-Preserving Attention for KV-Cache Read Reduction [3.1897721055763024]
  本稿では,背骨重みとKV-cacheフォーマットが変化しない検索-補完アテンションモジュールを提案する。 各クエリに対して、シンク/テールアンカーとクエリ依存のTop-Kトークンについて、正確な注意を計算します。 我々は、非正規化領域における正確な、推定された貢献を加え、単一の正規化を適用し、追加の注意面KV読取を伴わずに、欠落したソフトマックス質量を回復する。
  論文  参考訳（メタデータ） (2026-04-07T05:19:54Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
  大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。 チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。 SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T03:48:28Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。