論文の概要: Offline Makes Online Better: Calibrated Cache Compression for Video Generation
- arxiv url: http://arxiv.org/abs/2610.28192v1
- Date: Tue, 20 Oct 2026 13:33:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.831575
- Title: Offline Makes Online Better: Calibrated Cache Compression for Video Generation
- Title（参考訳）: Offlineのオンライン化:ビデオ生成のためのキャリブレーションキャッシュ圧縮
- Abstract要約: Calibrated Allocation for Layer-Head Mergingは、オンラインキャッシュ圧縮を改善する。
我々は,CALMが同じメモリ予算の下で統一されたトークンマージを一貫して上回ることを示す。
- 参考スコア（独自算出の注目度）: 5.628398440633394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Token merging is an effective approach to reducing KV-cache memory consumption in autoregressive video generation by clustering temporally redundant tokens and retaining only a small set of representatives. Existing methods, however, typically apply a uniform merging ratio across all attention layers and heads. We observe that different layers and heads exhibit substantially different yet jointly correlated sensitivities to token merging, and that these sensitivity patterns remain consistent across prompts. Based on this observation, we introduce CALM, a Calibrated Allocation for Layer-Head Merging that uses offline calibration to improve online cache compression. Exhaustively evaluating all possible layer-head allocations is prohibitively expensive. To enable efficient calibration, we show that attention-output error strongly correlates with end-to-end video quality and can therefore serve as a lightweight proxy for allocation risk assessment. We evaluate different allocation strategies using this proxy and construct a fixed layer-head risk map offline. Given a cache budget at inference time, CALM uses dynamic programming to determine the best allocation of merging ratios. Experiments across three different autoregressive video models demonstrate that CALM consistently outperforms uniform token merging under the same memory budget, by reducing the LPIPS to original videos by around 21% with higher video-quality scores.
- Abstract（参考訳）: トークンマージは、時間的に冗長なトークンをクラスタリングし、少数の代表者のみを保持することで、自動回帰ビデオ生成におけるKVキャッシュメモリ消費を減らす効果的なアプローチである。
しかし、既存の方法では、すべての注意層と頭部に均一なマージ比を適用するのが一般的である。
異なる層と頭部は、トークンのマージに対して実質的に異なるが、相互に相関した感度を示し、これらの感度パターンがプロンプト間で一貫していることを観察する。
この観測に基づいて,オンラインキャッシュ圧縮を改善するためにオフラインキャリブレーションを用いたCALM(Calibrated Allocation for Layer-Head Merging)を導入する。
考えられるすべてのレイヤヘッド割り当てを徹底的に評価することは、違法にコストがかかる。
効率的なキャリブレーションを実現するために,アテンション出力誤差とエンドツーエンドの映像品質が強く相関し,アロケーションリスク評価のための軽量なプロキシとして機能することを示す。
このプロキシを用いて異なるアロケーション戦略を評価し、固定層頭部リスクマップをオフラインで構築する。
推論時にキャッシュ予算が与えられた場合、CALMは動的プログラミングを使用してマージ比の最適な割り当てを決定する。
3つの異なる自己回帰的ビデオモデルに対する実験により、CALMは同じメモリ予算の下で一様トークンのマージを一貫して上回り、LPIPSを21%程度減らし、より高いビデオ品質のスコアを得ることを示した。
関連論文リスト
- CORAL-KV: Compact Cross-Layer Prediction and Residual Coding for Autoregressive Video KV Caches [16.341501039250083]
ビデオ拡散モデルは注目キー値(KV)キャッシュを維持しており、長いビデオ生成において重要なボトルネックとなっている。
KV-cache圧縮フレームワークを開発し、各レイヤのキャッシュ状態を利用して、後続のレイヤのキーと値を予測し、残りの予測残量を定量化する。
論文 参考訳（メタデータ） (2026-10-07T18:20:42Z) - RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation [6.31074726504356]
本稿では,各レイヤの値キャッシュに対する摂動が最終予測分布に与える影響を推定し,層間キャッシュを割り当てるRippleKVを提案する。
RippleKVは、キャッシュ予算に適合した評価KVキャッシュ圧縮手法の中で、最も高い平均性能を達成する。
論文 参考訳（メタデータ） (2026-08-09T13:01:11Z) - DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation [0.0]
改良された低ランクKVキャッシュ圧縮フレームワークを提案する。
提案手法は,競合精度を維持しつつ,キーキャッシュパラメータの数を削減できることを示す。
論文 参考訳（メタデータ） (2026-07-27T12:08:56Z) - Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。
本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。
75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
論文 参考訳（メタデータ） (2026-05-15T19:33:45Z) - Flow caching for autoregressive video generation [72.10021661412364]
自動回帰ビデオ生成に特化して設計された,最初のキャッシュフレームワークであるFlowCacheを紹介する。
本手法は,MAGI-1では2.38倍,SkyReels-V2では6.7倍,品質劣化は無視できない。
論文 参考訳（メタデータ） (2026-02-11T13:11:04Z) - HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference [11.718567830546538]
大規模言語モデルにおける長文推論は、注意の2次計算の複雑さによってボトルネックとなる。
bf HyLRAは階層ワイド・スパシティ・プロファイリングによって駆動される新しいフレームワークである。
その結果,HyLRAは推論のスループットを6%から46%向上し,同等の性能を維持していることがわかった。
論文 参考訳（メタデータ） (2026-01-31T15:36:17Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - Improving Weakly-supervised Video Instance Segmentation by Leveraging Spatio-temporal Consistency [9.115508086522887]
我々はEigen VISと呼ばれる弱い教師付き手法を導入し、他のVIS手法と比較して競争精度を向上する。
この方法は、時間固有値損失(TEL)とクリップレベルの品質コ効率(QCC)の2つの重要なイノベーションに基づいている。
コードはhttps://github.com/farnooshar/EigenVIS.comで公開されている。
論文 参考訳（メタデータ） (2024-08-29T16:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。