論文の概要: NanoKV: High-Ratio KV Cache Compression for Autoregressive Video Generation

• arxiv url: http://arxiv.org/abs/2611.06377v1
• Date: Wed, 04 Nov 2026 11:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.096114
• Title: NanoKV: High-Ratio KV Cache Compression for Autoregressive Video Generation
• Title（参考訳）: NanoKV: 自己回帰ビデオ生成のための高比KVキャッシュ圧縮
• Abstract要約: NanoKVは、世代別高比KV圧縮のためのフレームワークである。 クラスタセンターに共有コンテンツを格納することで、トークンとアテンションヘッド間の冗長性を悪用する。 NanoKVは、3つの自動回帰ビデオバックボーン間の品質とストレージのトレードオフを一貫して改善する。
• 参考スコア（独自算出の注目度）: 20.092183394277132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive video models rely on historical key-value (KV) caches to preserve scene consistency over extended rollouts, making KV storage and repeated attention over history a growing memory and computational bottleneck. Aggressive compression can degrade generation quality, while reconstructing full-dimensional KV leaves attention computation largely unchanged. We introduce NanoKV, a frozen-backbone framework for generation-aware high-ratio KV compression. NanoKV exploits redundancy across tokens and attention heads by storing shared content in cluster centers and encoding joint head-channel residuals into low-bit coefficients. Crucially, NanoKV uses different fitting objectives for Keys and Values according to their distinct roles in attention: Key decoders are optimized to preserve downstream block outputs, whereas Value encoders and decoders are fitted for faithful reconstruction through the deployed quantization path. Building on the same compressed representation, the optional NanoKV-Fast variant reuses the stored coefficients for mixed-dimensional attention, reducing computation without modifying the video backbone. Across three autoregressive video backbones, NanoKV consistently improves the quality-storage trade-off. On HY-WorldPlay, NanoKV achieves $26.09\times$ effective KV compression, nearly twice that of KVTC, while improving PSNR by 1.0 dB. NanoKV-Fast retains $20.53\times$ effective compression and achieves an approximately $1.15\times$ end-to-end speedup over KVTC.
• Abstract（参考訳）: 自動回帰ビデオモデルは、拡張されたロールアウトに対するシーン一貫性を維持するために、履歴キー値(KV)キャッシュに依存しており、KVストレージと履歴に対する繰り返しの注意をメモリと計算ボトルネックの増大にしている。 攻撃圧縮は生成品質を劣化させるが、フル次元KVの再構成は注意計算をほとんど変更しない。 我々は、世代別高比KV圧縮のためのフリーズバックボーンフレームワークであるNanoKVを紹介する。 NanoKVは、クラスタセンターに共有コンテンツを格納し、ジョイントヘッドチャネル残基を低ビット係数に符号化することで、トークンとアテンションヘッド間の冗長性を利用する。 キーデコーダは下流のブロック出力を保存するために最適化されていますが、バリューエンコーダとデコーダは、配置された量子化パスを通じて忠実な再構築に適合しています。 同じ圧縮表現に基づいて、オプションのNanoKV-Fast変種は、保存された係数を混合次元の注意のために再利用し、ビデオバックボーンを変更することなく計算を減らす。 3つの自動回帰ビデオバックボーンの中で、NanoKVは継続的に品質と保存のトレードオフを改善している。 HY-WorldPlayでは、NanoKVはKVTCの約2倍の効率的なKV圧縮を実現し、PSNRを1.0dB改善した。 NanoKV-Fast は 20.53 の効率的な圧縮を保ち、KVTC よりも約 $1.15 のエンド・ツー・エンド・スピードアップを達成している。

関連論文リスト

• CORAL-KV: Compact Cross-Layer Prediction and Residual Coding for Autoregressive Video KV Caches [16.341501039250083]
  ビデオ拡散モデルは注目キー値(KV)キャッシュを維持しており、長いビデオ生成において重要なボトルネックとなっている。 KV-cache圧縮フレームワークを開発し、各レイヤのキャッシュ状態を利用して、後続のレイヤのキーと値を予測し、残りの予測残量を定量化する。
  論文  参考訳（メタデータ） (2026-10-07T18:20:42Z)
• SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention [5.878850231726241]
  SlimKV はトークン機能を持つ KV-cache 圧縮方式である。 遅延KV表現を用いて、長いコンテキストをビーコンメモリ状態に圧縮できることを示す。 LongBenchでは、SlimKVは16x/32x圧縮でベースラインを上回り、4x/8xでリードしている。
  論文  参考訳（メタデータ） (2026-10-02T07:45:42Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache [38.49582847975703]
  低ランクKVキャッシュ圧縮のための新しいポストトレーニングフレームワークDynaKVを提案する。 我々の手法は既存の最先端圧縮技術より一貫して優れています。 SnapKVと統合した場合、DynaKVはKVキャッシュの6%しか保持せず、LongBenchベンチマークのベースラインパフォーマンスの94%を維持している。
  論文  参考訳（メタデータ） (2026-02-03T13:20:36Z)
• KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
  KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。 KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。 Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-07T08:40:52Z)
• KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache [7.019967158501771]
  長文生成に最適化された汎用的で効率的なKVキャッシュ管理フレームワークであるKVCompを提案する。 KVCompは、KVキャッシュデータ特性に特化して設計された新しい損失圧縮技術を採用している。 KVCompは,従来の手法に比べて最大83%のメモリ削減率で,平均47%,最大83%の高速化を実現している。
  論文  参考訳（メタデータ） (2025-08-30T18:25:19Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。