論文の概要: UniCP: A Unified Caching and Pruning Framework for Efficient Video Generation

• arxiv url: http://arxiv.org/abs/2502.04393v1
• Date: Thu, 06 Feb 2025 03:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:32.860251
• Title: UniCP: A Unified Caching and Pruning Framework for Efficient Video Generation
• Title（参考訳）: UniCP: 効率的なビデオ生成のための統一キャッシング・プルーニングフレームワーク
• Authors: Wenzhang Sun, Qirui Hou, Donglin Di, Jiahui Yang, Yongjia Ma, Jianxun Cui,
• Abstract要約: 効率的なビデオ生成のための統合キャッシング・プルーニングフレームワークUniCPを提案する。 キャッシュウィンドウの調整と冗長なコンポーネントのプルーニングにより、UniCPは計算効率を高め、ビデオディテールの忠実さを維持する。
• 参考スコア（独自算出の注目度）: 4.551593928334733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiT) excel in video generation but encounter significant computational challenges due to the quadratic complexity of attention. Notably, attention differences between adjacent diffusion steps follow a U-shaped pattern. Current methods leverage this property by caching attention blocks, however, they still struggle with sudden error spikes and large discrepancies. To address these issues, we propose UniCP a unified caching and pruning framework for efficient video generation. UniCP optimizes both temporal and spatial dimensions through. Error Aware Dynamic Cache Window (EDCW): Dynamically adjusts cache window sizes for different blocks at various timesteps, adapting to abrupt error changes. PCA based Slicing (PCAS) and Dynamic Weight Shift (DWS): PCAS prunes redundant attention components, and DWS integrates caching and pruning by enabling dynamic switching between pruned and cached outputs. By adjusting cache windows and pruning redundant components, UniCP enhances computational efficiency and maintains video detail fidelity. Experimental results show that UniCP outperforms existing methods in both performance and efficiency.
• Abstract（参考訳）: 拡散変換器(DiT)はビデオ生成に優れるが、注意の2次複雑さのために計算上の問題に遭遇する。 特に、隣接拡散ステップ間の注意差は、U字型パターンに従う。 現在の手法では、注意ブロックをキャッシュすることでこの特性を活用するが、それでも突然のエラースパイクと大きな不一致に悩まされている。 これらの問題に対処するため,UniCP は効率的なビデオ生成のための統合キャッシング・プルーニング・フレームワークである。 UniCPは時間次元と空間次元の両方を最適化する。 Error Aware Dynamic Cache Window (EDCW): 様々なタイミングで異なるブロックのキャッシュウィンドウサイズを動的に調整し、突然のエラー変更に対応する。 PCA ベースのスライシング (PCAS) と Dynamic Weight Shift (DWS): PCAS は冗長な注意要素を持ち、DWS はキャッシュとプルーニングを統合し、プルーニングされた出力とキャッシュされた出力を動的に切り替える。 キャッシュウィンドウの調整と冗長なコンポーネントのプルーニングにより、UniCPは計算効率を高め、ビデオディテールの忠実さを維持する。 実験の結果、UniCPは既存の手法よりも性能と効率が優れていることがわかった。

関連論文リスト

• iFlame: Interleaving Full and Linear Attention for Efficient Mesh Generation [49.8026360054331]
  iFlameはメッシュ生成のためのトランスフォーマーベースの新しいネットワークアーキテクチャである。 本稿では,線形アテンションの効率とフルアテンション機構の表現力を組み合わせたインターリービング自己回帰メッシュ生成フレームワークを提案する。 提案するインターリービングフレームワークは,計算効率と生成性能を効果的にバランスさせることが示唆された。
  論文  参考訳（メタデータ） (2025-03-20T19:10:37Z)
• QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
  Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。 DiTには、計算コストやメモリコストの増大など、大きな欠点がある。 我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
  論文  参考訳（メタデータ） (2025-03-09T10:31:51Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)により,より効率的な長文処理を実現する。 本稿では,まず,変圧器の非効率性について,ソフトマックス動作のばらつきから生じる注意シンク現象を考察する。 実験により、SWATは8つのベンチマーク上での最先端の線形リカレントアーキテクチャと比較してSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• MPCache: MPC-Friendly KV Cache Eviction for Efficient Private Large Language Model Inference [5.1206021159434805]
  MPCacheは、長いシーケンスの履歴トークンが下流のデコードに異なる影響を与える可能性があるという観察に基づいて構築されている。 MPCacheは、異なるLLM生成タスク間で、先進的なKVキャッシュ消去ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-01-12T13:18:04Z)
• Token Caching for Diffusion Transformer Acceleration [30.437462937127773]
  TokenCacheは拡散変圧器の訓練後高速化手法である。 推論ステップ間でトークン間の冗長な計算を削減します。 TokenCacheは,拡散変圧器における生成品質と推論速度のトレードオフを効果的に実現していることを示す。
  論文  参考訳（メタデータ） (2024-09-27T08:05:34Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Faster Image2Video Generation: A Closer Look at CLIP Image Embedding's Impact on Spatio-Temporal Cross-Attentions [27.111140222002653]
  本稿では,Stable Video Diffusion (SVD) フレームワークにおけるCLIP画像埋め込みの役割について検討する。 本稿では,SVDアーキテクチャの効率性に最適化されたトレーニング不要のアプローチであるVCUTを紹介する。 VCUTの実装により、ビデオ毎のMAC(Multiple-Accumulate Operations)を最大322T削減し、モデルパラメータを最大50M削減し、ベースラインと比較して20%のレイテンシ削減を実現した。
  論文  参考訳（メタデータ） (2024-07-27T08:21:14Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。