論文の概要: Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations
- arxiv url: http://arxiv.org/abs/2607.13770v1
- Date: Wed, 15 Jul 2026 12:31:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.758975
- Title: Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations
- Title（参考訳）: Kaleido: 遅延空間相関の爆発によるビデオ拡散変換器のアルゴリズムハードウェア共同設計
- Abstract要約: ビデオ拡散変換器(vDiT)は高品質なビデオを生成するが、計算コストは非常に高い。
既存のアクセラレーションアプローチは、ユニークなビデオデータを考えるのに失敗するスパースモデルから注意を引いている。
本稿では,遅延空間におけるチャネルの時間的相関を利用して,vDiTの全ての操作を高速化するアルゴリズムハードウェア符号Kale Kaleを提案する。
3つの主流のvDiTモデルによる評価は、カール・カールが5.9倍のスピードアップと16.0倍の省エネを達成したことを示している。
- 参考スコア（独自算出の注目度）: 47.69636045010864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video diffusion transformers (vDiTs) generate high quality video but introduce extremely high compute cost due to the long diffusion timesteps and self attention computation. As diffusion timesteps are reduced, the computation cost of self attention becomes the dominant bottleneck. Existing acceleration approaches largely inherit sparse attention techniques from large language models, which fail to consider the unique spatiotemporal correlation of video data. This paper presents Kaleido, an algorithm hardware codesign that accelerates all operations in vDiTs by exploiting channel-wise spatiotemporal correlations in latent space. Based on this insight, we propose a lightweight channelwise reuse algorithm that skips redundant computations by reusing partial results while preserving higher generative quality than prior methods (>17 dB). To efficiently support this algorithm, we design a systolic array like accelerator with reconfigurable processing elements and a lightweight data dispatcher to mitigate irregular sparsity and data access patterns introduced by our reuse algorithm. Evaluations across three mainstream vDiT models show that Kaleido achieves up to 5.9x speedup and 16.0x energy savings over state of the art accelerators.
- Abstract（参考訳）: ビデオ拡散変換器(vDiTs)は高品質なビデオを生成するが、長い拡散時間ステップと自己注意計算のために非常に高い計算コストがかかる。
拡散時間ステップが減少するにつれて、自己注意の計算コストが支配的なボトルネックとなる。
既存のアクセラレーションアプローチは、大言語モデルからのスパースアテンション手法を主に継承するが、ビデオデータの一意な時空間相関を考慮できない。
本稿では,遅延空間におけるチャネルワイド時空間相関を利用して,vDiTの全ての操作を高速化するアルゴリズムのハードウェア符号Kaleidoを提案する。
この知見に基づき,従来の手法(>17 dB)よりも高い生成品質を維持しつつ,部分的な結果の再利用によって冗長な計算を省略する,軽量なチャネルワイズ再利用アルゴリズムを提案する。
このアルゴリズムを効率的にサポートするために、再構成可能な処理要素を備えたシストリックアレイのようなアクセラレータと、再利用アルゴリズムによって導入された不規則な間隔とデータアクセスパターンを緩和する軽量データディスパッチを設計する。
3つの主流のvDiTモデルによる評価によると、カレイドは最先端の加速器よりも最大5.9倍のスピードアップと16.0倍の省エネを達成する。
関連論文リスト
- Towards Error-Free Long Video Generation [56.86952045212838]
本稿では,高品質でダイナミックでアイデンティティに一貫性のある単一ショット長ビデオを生成する,無限長のビデオ生成フレームワークを提案する。
まず,大規模なショートビデオデータに基づいて拡散モデルをビデオ拡張モデルとして微調整し,時間的コヒーレントなクリップを自動的に生成する。
我々のフレームワークは、リアルでコヒーレントな微小レベルのビデオ合成のための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2026-06-21T07:39:37Z) - PARE: Pruning and Adaptive Routing for Efficient Video Generation [71.54959622788608]
ビデオ拡散変換器(DiT)は高品質なビデオを生成するが、広いブロック、深いアーキテクチャ、反復的なサンプリングのためにかなりの計算を必要とする。
最近の手法では、幅、深さ、サンプリングのステップを圧縮することでコストを削減するが、通常は個々の入力に適応できない固定されたアーキテクチャにコミットする。
本稿では,構造対応プルーニングと入力適応ルーティングを併用して,幅と深さを共同で圧縮するPAREを提案する。
論文 参考訳（メタデータ） (2026-05-26T17:43:25Z) - Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep [37.62908191585867]
HetCacheは、ビデオ・ツー・ビデオ(MV2V)の生成と編集のためのトレーニング不要な拡散加速フレームワークである。
編集の一貫性と忠実さを維持しながら、冗長な注意操作を低減する。
実験によると、HetCacheは2.67$times$レイテンシのスピードアップやFLOPの削減など、目立った加速を実現している。
論文 参考訳（メタデータ） (2026-03-25T12:53:31Z) - TIMERIPPLE: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space [15.535854202219072]
本稿では,vDiTsにおける自己注意の促進を,潜在空間における時間的再利用の相関を利用して行う。
また,vDiT内の注意パターンは,主にトークンチャネルレベルでの空間的・時間的相関が支配的であることが示唆された。
本稿では,個別チャネルに沿った部分的注意スコアを空間的あるいは時間的に相関したトークンに再利用することにより,注意計算を近似する軽量かつ適応的な戦略を提案する。
論文 参考訳（メタデータ） (2025-11-15T05:07:31Z) - Astraea: A Token-wise Acceleration Framework for Video Diffusion Transformers [29.130090574300635]
ビデオ拡散変換器(vDiTs)は、テキストからビデオへの生成において大きな進歩を遂げているが、その計算要求は、実用的な展開において大きな課題となっている。
Astraeaは,vDiTをベースとしたビデオ生成の最適に近い構成を,パフォーマンス目標下で検索するフレームワークである。
論文 参考訳（メタデータ） (2025-06-05T14:41:38Z) - VORTA: Efficient Video Diffusion via Routing Sparse Attention [54.84294780326206]
VORTAは2つの新しいコンポーネントを持つアクセラレーションフレームワークである。
VBenchの品質を損なうことなく、エンドツーエンドのスピードアップを$1.76タイムで実現している。
モデルキャッシングやステップ蒸留など、他の様々なアクセラレーション手法とシームレスに統合でき、14.41タイムのスピードアップに到達し、性能劣化を無視できる。
論文 参考訳（メタデータ） (2025-05-24T17:46:47Z) - FastCar: Cache Attentive Replay for Fast Auto-Regressive Video Generation on the Edge [60.000984252907195]
自動回帰(AR)モデルは、サンプリング効率が優れているため、近年、視覚生成タスクにおいて有望であることが示されている。
ビデオ生成は、コヒーレントな時間フレームを生成するために、かなり多くのトークンを必要とする。
我々は,時間的冗長性を探究して,ARビデオ生成のデコードフェーズを高速化する textbfFastCar フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-17T05:00:39Z) - MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices [24.1144641404561]
本稿では,メモリ制約付きエッジアクセラレータ上での正確なアテンション推定高速化手法を提案する。
エッジコンピューティングのシナリオではFLAT (State-of-the-art attention fusion Method) と比較して,2.75倍のスピードアップと54%のエネルギー消費削減が見られた。
論文 参考訳（メタデータ） (2024-11-20T19:44:26Z) - SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [19.900719882624028]
本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。
SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
論文 参考訳（メタデータ） (2024-10-28T07:13:25Z) - Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。
エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。
我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-12-15T08:46:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。