論文の概要: DensityKV: Density-Guided KV Cache Compression for Long Video Generation

• arxiv url: http://arxiv.org/abs/2608.27922v1
• Date: Fri, 28 Aug 2026 04:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.207265
• Title: DensityKV: Density-Guided KV Cache Compression for Long Video Generation
• Title（参考訳）: 密度誘導型KVキャッシュ圧縮による長時間ビデオ生成
• Abstract要約: トレーニング不要な歴史的KV銀行経営戦略であるDindenkKVを提案する。 州が銀行に入った後、近隣の人口密度の増大を制限することで、密度KVは歴史的な蓄積を繰り返している。 3つの自己回帰型ビデオ生成バックボーンと複数世代にわたる実験により、歴史的KV容量の上限が同じである場合、密度KVは長い水平の一貫性と生成安定性を向上させることが示された。
• 参考スコア（独自算出の注目度）: 8.643177952128172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive video diffusion models enable streaming generation through sliding-window attention, but each generated block is conditioned on previously generated content, causing appearance and motion errors to propagate recursively over time. Historical key-value (KV) memory preserves earlier subject and scene states and helps maintain long-horizon consistency. However, retaining every generated state creates a historical archive that grows continuously with the rollout, while recurrent states repeatedly add redundant coverage. To address this problem, we propose DensityKV, a training-free historical KV bank management strategy. DensityKV maintains a separate token-level KV bank for each attention head and measures local redundancy among the post-RoPE keys that directly parameterize attention routing using Soft-Riesz density. By constraining neighborhood-density growth after states enter the bank, DensityKV limits repeated historical accumulation while preserving coherent states from each completed generation block. Experiments across three autoregressive video generation backbones and multiple generation lengths show that, at the same upper bound on historical KV capacity, DensityKV improves long-horizon consistency and generation stability while keeping persistent historical storage bounded independently of rollout length.
• Abstract（参考訳）: 自動回帰ビデオ拡散モデルにより、スライドウインドウの注意によるストリーミング生成が可能となるが、各生成されたブロックは、以前に生成されたコンテンツに条件付けされ、出現と動作エラーが時間とともに再帰的に伝播する。 歴史的キー値(KV)メモリは、初期の主題とシーンの状態を保持し、長期の一貫性を維持するのに役立つ。 しかし、生成されたすべての状態を保持すると、ロールアウトとともに継続的に成長する履歴アーカイブが生成される。 この問題に対処するため,トレーニング不要な歴史的KV銀行経営戦略であるDindenkKVを提案する。 密度KVは、各アテンションヘッドごとに異なるトークンレベルKVバンクを保持し、ソフトリース密度を用いてアテンションルーティングを直接パラメータ化するポストRoPEキー間の局所的冗長度を測定する。 状態が銀行に入った後、近隣密度の増大を制限することで、密度KVは各生成ブロックからのコヒーレントな状態を保持しながら、繰り返しの蓄積を制限する。 3つの自己回帰型ビデオ生成バックボーンと複数世代にわたる実験により、歴史的KV容量の上限が同じである場合、密度KVは、ロールアウト長とは無関係に永続的な履歴記憶を保ちながら、長い水平の一貫性と生成安定性を改善していることが示された。

関連論文リスト

• TetherCache: Stabilizing Autoregressive Long-Form Video Generation with Gated Recall and Trusted Alignment [51.33418612284208]
  ドリフト耐性長ビデオ生成のためのトレーニングフリーでプラグアンドプレイのキャッシュ管理戦略であるTetherCacheを提案する。 Gated Recall with Attention-Diversity Balancingは、ゲートスコアを使用して長距離メモリフレームを選択する。 TAMEは、信頼されたコンテキスト分布に統計を合わせることで、新しくリコールされたメモリトークンを軽量に編集する。
  論文  参考訳（メタデータ） (2026-06-11T08:16:08Z)
• FadeMem: Distance-Aware Memory Consolidation for Autoregressive Video Diffusion [59.207505503284715]
  FadeMemは、歴史的なKVブロックを固定キャッシュ予算の下で時間階層に整理する。 新しい歴史はきめ細かいエントリとして挿入され、古い隣のエントリは徐々にマージされる。 実験では、既存の有界キャッシュ戦略よりも、被験者の一貫性、背景安定性、時間的コヒーレンスが改善された。
  論文  参考訳（メタデータ） (2026-06-09T10:22:18Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• OmniMem: Scalable and Adaptive Memory Retrieval for Long Video Generation [35.901097079422755]
  本稿では,履歴キャッシュ上でスパースKV検索を行う,明示的なフルレンジメモリ検索フレームワークを提案する。 長時間のビデオ生成の実験では、OmniMemはDynamic Degreeを52.3%改善した。
  論文  参考訳（メタデータ） (2026-05-28T19:56:00Z)
• KVDrive: A Holistic Multi-Tier KV Cache Management System for Long-Context LLM Inference [23.683284557561112]
  我々は、GPUメモリ、ホストDRAM、SSDにまたがる総合的なマルチ層KVキャッシュ管理システムであるKVDriveを紹介する。 KVDriveは、キャッシュ配置、パイプラインスケジューリング、階層間の調整を共同でオーケストレーションするシステムの観点から、この問題に取り組む。 このシステムは精度を保ちながら最先端の作業に比べて最大1.74倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-05-18T08:54:16Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization [83.406036390582]
  Quant VideoGen(QVG)は、自動回帰ビデオ拡散モデルのためのトレーニングフリーなKVキャッシュ量子化フレームワークである。 これにより、KVメモリを最大7.0倍に削減できる。 生成品質において、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-03T00:54:32Z)
• Past- and Future-Informed KV Cache Policy with Salience Estimation in Autoregressive Video Diffusion [53.14908419375226]
  既存のアプローチは一般的にKVキャッシュポリシーに依存しており、長期のビデオ生成におけるトークンの重要性の違いを無視している。 我々は,過去・未来型KVキャッシュポリシー(PaFu-KV)を提案する。 特にPaFu-KVは、双方向キャッシュ教師から抽出した軽量なサリエンス推定ヘッドを導入し、サリエンススコアを推定する。 このポリシーは、KVキャッシュ容量を小さくし、推論時にメモリフットプリントを減らすことで、より良い品質効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2026-01-29T15:55:29Z)
• Retrospective Sparse Attention for Efficient Long-Context Generation [5.562294018150909]
  RetroAttentionは、後続の復号ステップから新たに到着したKVエントリを使用して、過去の注意出力を遡及的に更新する。 これは固定アテンション・アウトプットのパラダイムを破り、事前近似の継続的な修正を可能にする。 実験により、RetroAttention は最先端(SOTA) KV 圧縮法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-12T15:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。