論文の概要: TempoKV: Predictive KV Cache Quantization for Autoregressive Video Generation

• arxiv url: http://arxiv.org/abs/2610.15324v1
• Date: Sun, 11 Oct 2026 03:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:36:46.735549
• Title: TempoKV: Predictive KV Cache Quantization for Autoregressive Video Generation
• Title（参考訳）: TempoKV: 自動回帰ビデオ生成のための予測KVキャッシュ量子化
• Abstract要約: 本稿では,ARビデオ生成のためのトレーニング不要な予測KVキャッシュ量子化フレームワークを提案する。 メソッドは、異なる依存関係に従ってキーと値を予測し、低い精度で残余だけを格納する。 自己強制、因果強制、LongCat-Video-13Bの実験は、既存のKVキャッシュ量子化法よりも高い生成品質を達成することを示す。
• 参考スコア（独自算出の注目度）: 10.456083600124698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive (AR) video diffusion models enable streaming generation of long videos but suffer from significant memory overhead due to the rapidly growing KV cache. Existing KV cache quantization methods are primarily designed for LLMs and transfer poorly to video models, where activations exhibit different statistics and strong spatiotemporal redundancy. We observe that the video KV cache is largely predictable over time, with a clear asymmetry. Keys are highly predictable from their temporal history, while values depend primarily on the current key and need a short history of preceding values. Based on these observations, we propose \textbf{\method}, a training-free predictive KV cache quantization framework for AR video generation. \method predicts keys and values according to their distinct dependencies and stores only the residuals at low precision. Both predictors are lightweight, calibrated once offline by linear regression on a small set of BF16 samples, and remain fixed across prompts and generation runs. Experiments on Self-Forcing, Causal Forcing, and LongCat-Video-13B show that \method consistently achieves higher generation quality than existing KV cache quantization methods at comparable or higher compression ratios, reaching up to $6.71\times$ KV cache compression with the best overall quality--efficiency tradeoff. Our code will be released on GitHub.
• Abstract（参考訳）: 自己回帰(AR)ビデオ拡散モデルは、長いビデオのストリーミング生成を可能にするが、急速に増大するKVキャッシュのためにメモリオーバーヘッドが著しく低下する。 既存のKVキャッシュ量子化法は、主にLLM向けに設計されており、アクティベーションが異なる統計値と強い時空間冗長性を示すビデオモデルへの転送が不十分である。 ビデオKVキャッシュは時間とともにほぼ予測可能であり,非対称性は明確である。 キーは時間的履歴から非常に予測可能であり、値は主に現在のキーに依存しており、先行する値の短い履歴が必要である。 これらの観測に基づいて,ARビデオ生成のためのトレーニング不要な予測KVキャッシュ量子化フレームワークである‘textbf{\method} を提案する。 \methodは、異なる依存関係に従ってキーと値を予測し、低い精度で残余だけを格納する。 両方の予測器は軽量で、BF16サンプルの小さなセットで線形回帰によって一度オフラインに調整され、プロンプトとジェネレーションランで固定されている。 Self-Forcing、Causal Forcing、LongCat-Video-13Bの実験では、Shamethodは既存のKVキャッシュ量子化手法よりも、同等または高い圧縮比で常に高い生成品質を実現し、全体的な品質-効率のトレードオフで最大6.71\times$ KVキャッシュ圧縮に達した。 私たちのコードはGitHubでリリースされます。

関連論文リスト

• CORAL-KV: Compact Cross-Layer Prediction and Residual Coding for Autoregressive Video KV Caches [16.341501039250083]
  ビデオ拡散モデルは注目キー値(KV)キャッシュを維持しており、長いビデオ生成において重要なボトルネックとなっている。 KV-cache圧縮フレームワークを開発し、各レイヤのキャッシュ状態を利用して、後続のレイヤのキーと値を予測し、残りの予測残量を定量化する。
  論文  参考訳（メタデータ） (2026-10-07T18:20:42Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization [83.406036390582]
  Quant VideoGen(QVG)は、自動回帰ビデオ拡散モデルのためのトレーニングフリーなKVキャッシュ量子化フレームワークである。 これにより、KVメモリを最大7.0倍に削減できる。 生成品質において、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-03T00:54:32Z)
• Past- and Future-Informed KV Cache Policy with Salience Estimation in Autoregressive Video Diffusion [53.14908419375226]
  既存のアプローチは一般的にKVキャッシュポリシーに依存しており、長期のビデオ生成におけるトークンの重要性の違いを無視している。 我々は,過去・未来型KVキャッシュポリシー(PaFu-KV)を提案する。 特にPaFu-KVは、双方向キャッシュ教師から抽出した軽量なサリエンス推定ヘッドを導入し、サリエンススコアを推定する。 このポリシーは、KVキャッシュ容量を小さくし、推論時にメモリフットプリントを減らすことで、より良い品質効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2026-01-29T15:55:29Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
  精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。 保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。 我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
  論文  参考訳（メタデータ） (2025-03-02T18:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。