論文の概要: HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression

• arxiv url: http://arxiv.org/abs/2606.28831v1
• Date: Sat, 27 Jun 2026 09:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.701086
• Title: HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression
• Title（参考訳）: HARD-KV:デコード時KV圧縮のためのヘッド適応正規化
• Abstract要約: ヘッド適応圧縮アルゴリズムは、メモリ予算を動的に変動させることにより、より優れた精度を提供する。 しかし、現代的な推論エンジンは、GraphsとPagedAttentionを利用するために厳格で静的なメモリパターンを必要とする。 HARD-KVは,動的選択を厳密なシステム制約でブリッジする統合フレームワークである。
• 参考スコア（独自算出の注目度）: 11.40656413331368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context LLM inference faces a fundamental conflict: head-adaptive compression algorithms (e.g., Top-$p$ nucleus sampling) offer superior accuracy by dynamically fluctuating memory budgets, yet modern inference engines (e.g., vLLM) demand rigid, static memory patterns to leverage CUDA Graphs and PagedAttention. We resolve this ``Static-Dynamic'' mismatch with HARD-KV, a unified framework that that bridges dynamic selection with rigid system constraints. HARD-KV introduces a Cascade Cache hierarchy, managing the token lifecycle across dense, sparse, and condensed tiers. Crucially, we propose a Logits Calibration mechanism that normalizes diverse importance metrics into a unified probability space, enabling consistent Top-$p$ budgeting across heterogeneous heads. To bridge the efficiency gap, we offer a system-level solution, which rewrites fragmented, dynamic indices into contiguous physical layouts compatible with high-performance inference engine. Extensive experiments on math-reasoning benchmarks (AIME, U-Math) verify that HARD-KV achieves up to 2$\times$ throughput improvement over static baselines while maintaining high-fidelity generation in 10k+ token scenarios. Code is available at https://github.com/SuDIS-ZJU/HARDInfer.
• Abstract（参考訳）: ヘッド適応圧縮アルゴリズム(例えば、Top-$p$核サンプリング)は、動的にメモリ予算を変動させることにより優れた精度を提供するが、最新の推論エンジン(例えば、vLLM)は、CUDAグラフとPagedAttentionを利用するための厳密な静的メモリパターンを要求する。 この ``Static-Dynamic' と HARD-KV とのミスマッチは,厳密なシステム制約で動的選択をブリッジする統合フレームワークである。 HARD-KVはカスケードキャッシュ階層を導入し、密度、スパース、凝縮層にわたるトークンライフサイクルを管理する。 重要度を統一した確率空間に正規化し、不均一な頭部を一貫したTop-$p$予算化を可能にするLogits Calibration機構を提案する。 効率ギャップを埋めるため,高速推論エンジンと互換性のある連続的な物理レイアウトに断片化された動的インデックスを書き換えるシステムレベルのソリューションを提供する。 数学推論ベンチマーク(AIME, U-Math)の大規模な実験により、HARD-KVは10k以上のトークンシナリオで高忠実性の生成を維持しながら、静的ベースラインよりも最大2$\times$スループットの改善を達成することが確認された。 コードはhttps://github.com/SuDIS-ZJU/HARDInfer.comで入手できる。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• Tangram: Unlocking Non-Uniform KV Cache for Efficient Multi-turn LLM Serving [12.478756445519409]
  Tangramは、一様でないKVキャッシュを実用的にするために設計された新しいサービスシステムである。 Tangramは既存のベースラインに比べてスループットを最大2.6倍改善する。
  論文  参考訳（メタデータ） (2026-06-04T15:41:27Z)
• DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing [30.82607063015274]
  DASH-KVは,非対称な深層ハッシュによる近接探索として注目を再構築する,革新的なアクセラレーションフレームワークである。 LongBenchの実験では、DASH-KVは、O(N2) から線形 O(N) への推論複雑性を低減しつつ、全注目性能を一致させながら、最先端のベースライン法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2026-04-21T11:33:24Z)
• HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference [23.016627145448467]
  MLLM(Multimodal Large Language Models)は、テキスト、画像、ビデオに対する高度な統一推論である。 各ビジュアル入力は数千のトークンに拡張され、キャッシュはコンテキスト長と線形にスケールする。 一般的な解決策は、固定された予算の下で異なる粒度でキャッシュを圧縮することである。 相補的戦略を3段階に統合したハイブリッドKVキャッシュ圧縮フレームワークであるHybridKVを提案する。
  論文  参考訳（メタデータ） (2026-04-07T13:51:07Z)
• CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation [16.540537092341737]
  我々は,大規模言語モデルのためのリスク適応型およびヘッドアウェア圧縮フレームワークであるCompilerKVを提案する。 CoherentKVはオフラインエクスペリエンスを、プリフィルのみのデプロイメントのために再利用可能な決定テーブルにコンパイルする。 LongBenchの実験では、CompilerKVが512の予算でSOTAメソッドを支配し、FullKVのパフォーマンスの97.7%を回復し、最大5.2ポイントを達成している。
  論文  参考訳（メタデータ） (2026-02-09T14:07:55Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• KVCompose: Efficient Structured KV Cache Compression with Composite Tokens [7.922206020386125]
  大規模言語モデル(LLM)は、効率的な自己回帰復号化のためにキー値(KV)キャッシュに依存している。 我々は,注意誘導型,層適応型複合トークンに基づく,シンプルで効果的なKVキャッシュ圧縮フレームワークを提案する。 本手法は精度を保ちながらメモリの大幅な削減を実現し,従来手法と半構造化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-05T14:58:24Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。