論文の概要: CORAL-KV: Compact Cross-Layer Prediction and Residual Coding for Autoregressive Video KV Caches

• arxiv url: http://arxiv.org/abs/2610.12514v1
• Date: Wed, 07 Oct 2026 18:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.211364
• Title: CORAL-KV: Compact Cross-Layer Prediction and Residual Coding for Autoregressive Video KV Caches
• Title（参考訳）: Coral-KV: 自動回帰ビデオKVキャッシュのためのコンパクトクロスレイア予測と残留符号化
• Abstract要約: ビデオ拡散モデルは注目キー値(KV)キャッシュを維持しており、長いビデオ生成において重要なボトルネックとなっている。 KV-cache圧縮フレームワークを開発し、各レイヤのキャッシュ状態を利用して、後続のレイヤのキーと値を予測し、残りの予測残量を定量化する。
• 参考スコア（独自算出の注目度）: 16.341501039250083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive video diffusion models maintain a growing attention key-value (KV) cache, making memory a key bottleneck for long video generation. Recently, clustering-based quantization has emerged as an effective method to compress video KV caches by grouping similar key and value vectors then quantizing residual errors. However, when later frames attend to the compressed history, small reconstruction errors can compound as the video grows. Beyond the within-layer similarity exploited by clustering, we find strong dependencies across cache layers in video models. This motivates Coral-KV - Calibrated Offline, Residual-coded, and Adapted Locally - a KV-cache compression framework that uses cache states in each layer to predict keys and values in subsequent layers, then quantizes the remaining prediction residuals. We construct compact block-diagonal-plus-low-rank (block-DPLR) predictors: block-diagonal components model channel relationships within each attention head, while a global low-rank term models dependencies between heads. Coral-KV exposes a flexible fidelity-memory trade-off: it can reuse its predictors across videos or refit lightweight block-diagonal predictors to the current video for higher fidelity. Across extensive evaluations on both HY-WorldPlay and MAGI-1, our reusable configuration improves PSNR over QVG-4 by 0.32 dB and 4.95 dB, respectively, while using 48% and 37% less cache memory. Against QVG-Pro, our video-adapted configuration improves MAGI-1 PSNR by 3.77 dB while using 33.7% less cache memory. Coral-KV also maintains higher reconstruction fidelity over extended generation and reduces temporal discontinuities while retaining comparable generation latency.
• Abstract（参考訳）: 自己回帰ビデオ拡散モデルは、注目キー値(KV)キャッシュを増大させ、長いビデオ生成において重要なボトルネックとなる。 近年、クラスタリングに基づく量子化が、類似鍵と値ベクトルをグループ化して残差誤差を定量化することにより、ビデオKVキャッシュを圧縮する有効な方法として登場した。 しかし、後続のフレームが圧縮された履歴に従えば、ビデオが大きくなるにつれて、小さな再構成エラーが複雑になる可能性がある。 クラスタリングによって活用される層内類似性以外にも、ビデオモデルのキャッシュ層にまたがる強い依存関係が見つかります。 これはCoral-KV - Calibrated Offline, Residual-coded, Adapted Locally – 各レイヤのキャッシュ状態を使用してその後のレイヤのキーと値を予測するKV-cache圧縮フレームワークを動機付け,残りの予測残量を定量化する。 我々は,ブロック対角+低ランク(ブロック-DPLR)予測器を構築する:ブロック対角成分は各アテンションヘッド内のチャネル関係をモデル化し,グローバルな低ランク項はヘッド間の依存性をモデル化する。 Coral-KVはフレキシブルなフィデリティメモリのトレードオフを露呈している。ビデオ間で予測器を再利用したり、より高忠実なビデオに軽量なブロック対角予測器を適合させることができる。 HY-WorldPlay と MAGI-1 の双方で広範囲な評価を行った結果、再利用可能な構成では、QVG-4 上の PSNR をそれぞれ 0.32 dB と 4.95 dB で改善し、キャッシュメモリは 48% と 37% 削減された。 QVG-Proに対して、我々のビデオ適応構成は、33.7%のキャッシュメモリを使用しながら、MAGI-1 PSNRを3.77dB改善する。 また、Coral-KVは、拡張世代よりも高い再構成忠実性を維持し、時間的不連続性を低減し、同等の生成遅延を維持する。

関連論文リスト

• Towards Memory-Efficient Autoregressive Video Generation via Instance-Specific Parametric Absorption [37.96485836820005]
  インスタンス比パラメトリック吸収(ISPA)は、KVキャッシュ圧縮を廃棄から蒸留に移行する新しいフレームワークである。 また,ISPAはKVキャッシュの最大50%を視覚的品質で除去できることを示した。
  論文  参考訳（メタデータ） (2026-07-01T09:59:28Z)
• KV Cache Quantization for Self-Forcing Video Generation: A 33-Method Empirical Study [0.0]
  本稿では, Wan2.1 ベースの自己強制スタック上での自己強制ビデオ生成のための KV-cache 圧縮に関する総合的研究を行う。 本研究は,33種類の量子化とキャッシュ・ポリティクス,610個のプロンプトレベルの観測,63個のベンチマークレベルの要約について検討した。 我々は,ピークVRAM,ランタイム,圧縮率,VBench画像品質,BF16参照忠実度(SSIM,LPIPS,PSNR),端末ドリフトを共同評価した。
  論文  参考訳（メタデータ） (2026-03-29T01:35:16Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization [83.406036390582]
  Quant VideoGen(QVG)は、自動回帰ビデオ拡散モデルのためのトレーニングフリーなKVキャッシュ量子化フレームワークである。 これにより、KVメモリを最大7.0倍に削減できる。 生成品質において、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-03T00:54:32Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models [3.5171501100868876]
  KVキャッシュはシーケンス長と埋め込み次元で成長し、しばしばモデル自体のメモリフットプリントを超える。 KV CARは,モデル忠実性を維持しつつ,KVキャッシュストレージを大幅に削減する,統一的で非依存なアーキテクチャフレームワークである。 Wikitext、C4、PIQA、WinograndeデータセットにわたるGPT 2とTinyLLaMAモデルの評価は、KV CARが最大47.85パーセントのKVキャッシュメモリ削減を達成したことを示している。
  論文  参考訳（メタデータ） (2025-12-07T08:40:52Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。