論文の概要: Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
- arxiv url: http://arxiv.org/abs/2610.13708v1
- Date: Fri, 09 Oct 2026 15:02:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.649792
- Title: Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
- Title（参考訳）: Adaptive DHiSparse: 負荷適応KV階層上の投機的デコード
- Abstract要約: ハードウェアが有用なスループットに達する前に、KVメモリの長文配信が終了する。
HiSparseは履歴をホストメモリに格納し、選択したエントリのみをフェッチするが、ロード毎に1つのキャッシュ予算を使用する。
本稿では,階層的スパースKV上での投機的復号化を支援するAdaptive DHiSparseを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context serving runs out of KV memory before the hardware reaches its useful throughput. HiSparse stores history in host memory and fetches only the selected entries, but it uses one cache budget at every load and does not handle draft-model speculative decoding such as DSpark and DFlash2. We present Adaptive DHiSparse, which supports speculative decoding over hierarchical sparse KV and adapts residency to load. It protects the required working set, retains additional history while GPU memory is spare, and recovers the rest through exact fused retrieval. DSpark and DFlash2 keep their proposal and acceptance rules: queries share missing-row retrieval, draft KV uses a window-bounded ring, and verification staging is reused across layer groups. At 100K context and concurrency 128, GLM-5.3 with DFlash2 delivers 793 output tokens/s per decode GPU, 1.45$\times$ HiSparse and 1.27$\times$ non-speculative adaptive serving. Held to the same latency bounds as HiSparse, it sustains up to 4$\times$ the concurrency and 2.3 to 3.7$\times$ the output, depending on the per-token bound. On DeepSeek-V4.1-Flash at 500K context and concurrency 512, Adaptive DHiSparse with DSpark delivers 1.85$\times$ the output of resident serving with DSpark. In a load step, optional residency reduces host fetches from 14.2% to 1.4% of selected rows at low load and releases memory under pressure.
- Abstract（参考訳）: ハードウェアが有用なスループットに達する前に、KVメモリの長文配信が終了する。
HiSparseは履歴をホストメモリに格納し、選択したエントリのみを取得するが、すべての負荷で1つのキャッシュ予算を使用し、DSparkやDFlash2のようなドラフトモデル投機的デコーディングを処理しない。
本稿では,階層的スパースKV上での投機的復号化をサポートするAdaptive DHiSparseを提案する。
必要な作業セットを保護し、GPUメモリが空いている間、追加の履歴を保持し、正確な融合した検索を通じて残りの部分を復元する。
DSparkとDFlash2は、提案と受け入れルールを維持している。クエリは欠落したロー検索を共有し、ドラフトKVはウィンドウバウンドリングを使用し、検証ステージングはレイヤグループ間で再利用される。
100Kコンテキストと並行性128では、DFlash2を使用したGLM-5.3は、デコードGPU当たり793の出力トークン/秒、1.45$\times$ HiSparse、1.27$\times$非投機的適応型サービスを提供する。
HiSparseと同じレイテンシ境界で、並列処理で最大4$\times$、2.3から3.7$\times$まで持続する。
500Kコンテキストと並行性512でのDeepSeek-V4.1-Flashでは、DSparkのAdaptive DHiSparseは、DSparkの常駐サービスの出力として1.85$\times$を提供する。
ロードステップでは、オプションでホストフェッチを低負荷時に選択された行の14.2%から1.4%に削減し、メモリをプレッシャーで解放する。
関連論文リスト
- DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression [354.65055709450576]
DeepSeek-V4.1-Flashは,552Bのバックボーンパラメータを持つマルチモーダルMixture-of-Experts(MoE)モデルで,最大100万トークンのコンテキストをサポートする。
Causal-Decoder (CED) アーキテクチャでは、デコード時にトークン毎に16Bパラメータを起動するが、プリフィル時に8Bパラメータしか有効にせず、エージェントワークロードのコスト効率を大幅に向上する。
論文 参考訳（メタデータ） (2026-09-17T09:43:10Z) - Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs [0.22940141855172033]
py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。
80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。
GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
論文 参考訳（メタデータ） (2026-09-10T16:00:35Z) - Approximate Speculative Decoding [2.7677713446315946]
投機的復号化は、ターゲットモデルと並行してドラフトブロックを検証することで自己回帰生成を加速する。
我々は、二項第一ミスマッチトランケーションを予算化された最長選択に置き換えるトレーニング不要な検証器であるtextbf Speculative Decoding (ASD) を導入する。
ASDは新しいドラフトモデルも微調整も必要ありません。
論文 参考訳（メタデータ） (2026-08-04T10:45:24Z) - FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。
このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。
FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
論文 参考訳（メタデータ） (2026-06-08T06:25:54Z) - BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding [7.193143482416172]
BudgetDraftは、中間から長期の推論においてスパースドラフトのトレーニング方法である。
BudgetDraftは、最大6.55倍、4.46倍、2.10倍のエンドツーエンドのスピードアップを、4K、8K、16Kのコンテキスト長で達成している。
論文 参考訳（メタデータ） (2026-05-29T02:31:18Z) - SURGE: SuperBatch Unified Resource-efficient GPU Encoding for Heterogeneous Partitioned Data [3.1624024957575982]
SURGEは,4万の論理パーティションに8億以上のテキストの埋め込みを生成するために,本番環境にデプロイされたストリーミングエンコーディングシステムである。
4つのNVIDIA L4768を持つ10Mテキストでは、SURGEは26,413のテキスト/sを提供する。
論文 参考訳（メタデータ） (2026-05-01T19:51:50Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳（メタデータ） (2025-02-05T20:43:48Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。