論文の概要: DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency

• arxiv url: http://arxiv.org/abs/2609.39096v1
• Date: Wed, 30 Sep 2026 06:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.290087
• Title: DeCoPrune: Efficient KV-Cache Pruning for Autoregressive Video Diffusion via Denoising Consistency
• Title（参考訳）: DeCoPrune: 一貫性を損なう自動回帰ビデオ拡散のための効率的なKVキャッシュプルーニング
• Abstract要約: 本稿では,キャッシュ圧縮をデノナイジング一貫性問題として扱う,トレーニング不要なDeCoPruneを紹介する。 中間的クリーンな予測と最終的な復号化値との間に大きな違いがあるトークンは、保持されたコンテキストから予測不可能な視覚的証拠を運ぶ傾向にある。 DeCoPruneは、このモデル固有の信号を使用して、低差分トークンをプルーニングしながら、長期キャッシュに高差分トークンを保持する。
• 参考スコア（独自算出の注目度）: 32.36199443615815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive video diffusion supports streaming generation and interactive control, but its KV cache grows with the generated history. Existing compression strategies discard history using fixed windows or select tokens through local attention and similarity signals, without directly measuring whether a chunk contributes information beyond the retained context. We introduce DeCoPrune, a training-free method that treats cache compression as a denoising-consistency problem. We find that tokens with larger discrepancies between intermediate clean predictions and final denoised values tend to carry visual evidence less predictable from the retained context. DeCoPrune uses this model-intrinsic signal to retain high-discrepancy tokens in the long-term cache while pruning low-discrepancy tokens. To evaluate information retention, we introduce CMBench, comprising 58 approximately one-minute generated or real-world context episodes and 116 Reappear or Revisit continuation tasks requiring recall of earlier events or objects. Experiments with LingBot World v2 show that DeCoPrune achieves a DINO score of 0.6701 on a 0-1 scale, with an 85.43% reduction in cumulative historical KV token counts and a 4.14-fold continuation-generation speedup over FullKV. Its head-specialized variant reaches 0.6783 at an 86.19% pruning ratio, approaching FullKV's 0.6803 score and exceeding the evaluated compression baselines at similar budgets. These results indicate that denoising consistency can support long-range information retention while reducing autoregressive inference cost. Our project homepage is https://decoprune.github.io. The code is available at https://github.com/DeCoPrune/CMBench, and the benchmark at https://huggingface.co/datasets/Aoraku/CMBench.
• Abstract（参考訳）: 自動回帰ビデオ拡散はストリーミング生成とインタラクティブ制御をサポートするが、KVキャッシュは生成された履歴とともに増大する。 既存の圧縮戦略では、チャンクが保持されたコンテキストを超えた情報に寄与するかどうかを直接測定することなく、固定ウィンドウや選択トークンを使用して履歴を破棄する。 本稿では,キャッシュ圧縮をデノナイジング一貫性問題として扱う,トレーニング不要なDeCoPruneを紹介する。 中間的クリーンな予測と最終的な復号化値との間に大きな違いがあるトークンは、保持されたコンテキストから予測不可能な視覚的証拠を運ぶ傾向にある。 DeCoPruneは、このモデル固有の信号を使用して、低差分トークンをプルーニングしながら、長期キャッシュに高差分トークンを保持する。 情報保持を評価するため,約1分間の文脈エピソードや実世界の文脈エピソード58と,過去のイベントやオブジェクトのリコールを必要とする116件のリルック・リヴィジット継続タスクからなるCMBenchを導入する。 LingBot World v2の実験によると、DeCoPruneは0-1スケールでDINOスコア0.6701を達成し、累積KVトークン数は85.43%減少し、FullKVよりも4.14倍の継続生成速度が向上した。 頭種別変種は86.19%のプルーニング比で0.6783に達し、FullKVの0.6803スコアに近づき、同様の予算で評価された圧縮ベースラインを超えた。 これらの結果から, 自己回帰推論コストを低減しつつ, 長距離情報保持を支援することが示唆された。 私たちのプロジェクトのホームページはhttps://decoprune.github.ioです。 コードはhttps://github.com/DeCoPrune/CMBenchで、ベンチマークはhttps://huggingface.co/datasets/Aoraku/CMBenchで入手できる。

関連論文リスト

• Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
  自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。 我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。 VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
  論文  参考訳（メタデータ） (2026-07-20T18:37:58Z)
• ReCache: Learning Budget-Aware Caching Schedules for Diffusion Models via REINFORCE [40.4732814295941]
  ReCacheは、生成品質を最大化する再計算スケジュールを学ぶ。 政策勾配を通し、完全な拡散推論を通じてバックペーストを横取りする。 スケジュールベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-04T11:59:56Z)
• SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
  大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。 チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。 SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T03:48:28Z)
• Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
  精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。 保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。 我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
  論文  参考訳（メタデータ） (2025-03-02T18:12:50Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。