論文の概要: SyncCache: Exploiting Asymmetric Dynamics for Fast Audio-Driven Portrait Animation
- arxiv url: http://arxiv.org/abs/2606.30849v1
- Date: Mon, 29 Jun 2026 19:26:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.992738
- Title: SyncCache: Exploiting Asymmetric Dynamics for Fast Audio-Driven Portrait Animation
- Title（参考訳）: SyncCache: 高速オーディオ駆動画像アニメーションのための非対称ダイナミクスの爆発
- Abstract要約: Diffusion Transformer (DiT) は、オーディオ駆動のポートレートアニメーションを著しく進歩させたが、その高い計算コストは、かなりの推論遅延をもたらす。
そこで我々は,DiT ベースのポートレートアニメーションに適した,トレーニング不要なキャッシュアクセラレーション手法 SyncCache を提案する。
- 参考スコア（独自算出の注目度）: 72.09280113664535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion Transformers (DiTs) have significantly advanced audio-driven portrait animation, but their high computational cost leads to substantial inference latency. Although training-free diffusion caching accelerates inference significant, existing methods are primarily developed for text-conditioned generation and overlook the spatial and modality imbalances inherent in audio-driven portrait animation. In this paper, we propose SyncCache, a training-free caching acceleration method tailored for DiT-based portrait animation that explicitly exploits asymmetric dynamics. Specifically, high-frequency dynamics driven by audio conditions and concentrated in human regions are more challenging and critical to cache and reuse than the low-frequency visual background in portrait animation. First, we introduce Spatially-Asymmetric Probing to prioritize error sensitivity in dynamic human region. Second, through Modality-Decoupled Caching, we bypass heavy DiT block by reusing stable inter-block residuals, while continuously recomputing lightweight audio blocks to preserve precise lip synchronization. Furthermore, we introduce a cache ratio to control cache capacity and formulate memory-adaptive cache selection as an offline dynamic programming problem without online overhead. Extensive experiments demonstrate that SyncCache achieves superior speed-quality trade-offs, delivering up to 4.12x acceleration on HunyuanVideo-Avatar and 3.75x on Wan-S2V with near-lossless visual fidelity and precise audio alignment.
- Abstract（参考訳）: Diffusion Transformer (DiT) は、オーディオ駆動のポートレートアニメーションを著しく進歩させたが、その高い計算コストは、かなりの推論遅延をもたらす。
トレーニング不要な拡散キャッシングは推論を著しく加速するが、既存の手法は主にテキスト条件付き生成のために開発され、オーディオ駆動のポートレートアニメーションに固有の空間的およびモダリティの不均衡を無視する。
本稿では,非対称なダイナミックスを明示的に活用するDETベースのポートレートアニメーションに適した,トレーニング不要なキャッシュアクセラレーション手法であるSyncCacheを提案する。
具体的には、人間の領域に集中したオーディオ条件によって駆動される高周波ダイナミクスは、ポートレートアニメーションの低周波背景よりもキャッシュと再利用が困難であり、非常に重要である。
まず、動的ヒト領域における誤差感度を優先するために、空間非対称なプローブを導入する。
第二に、Modality-Decoupled Cachingにより、安定したブロック間残差を再利用し、軽量オーディオブロックを継続的に再計算し、正確なリップ同期を維持することで、重いDiTブロックをバイパスする。
さらに、キャッシュ容量を制御するキャッシュ比を導入し、オンラインオーバーヘッドを伴わないオフライン動的プログラミング問題としてメモリ適応型キャッシュ選択を定式化する。
SyncCacheは、HunyuanVideo-Avatarで4.12倍、Wan-S2Vで3.75倍の高速化を実現し、ほぼロスレスな視覚的忠実さと正確なオーディオアライメントを実現している。
関連論文リスト
- EchoCache: Energy-Guided Cross-Modal Caching for Efficient Audio-Driven Video Generation [20.708887969060513]
本稿では,効率的な音声駆動ビデオ生成のためのエネルギー誘導型クロスモーダルキャッシュフレームワークであるEchoCacheを提案する。
実験によると、EchoCacheは、生成品質とオーディオ-視覚的整合性を維持しながら、レイテンシ品質のトレードオフを一貫して改善している。
論文 参考訳（メタデータ） (2026-08-03T16:42:54Z) - OmniCache: Multidimensional Hierarchical Feature Caching For Diffusion Models [8.344012950413108]
SD3、FLUX、最近のビデオ拡散変換器を含む高解像度画像およびビデオ拡散モデルは、生成品質を大幅に改善したが、推論時には高価である。
モデル重みの変更や再トレーニングではなく,中間拡散特性の冗長性を活用することで,この非効率性に対処する。
多次元機能再利用を実現する階層型キャッシュフレームワークであるOmniCacheを提案する。
論文 参考訳（メタデータ） (2026-07-26T21:14:48Z) - Motion-Aware Caching for Efficient Autoregressive Video Generation [73.27762884730272]
MotionCacheは、ピクセルレベルのモーション特性の軽量プロキシとして、フレーム間の差異を利用する。
SkyReels-V2やMAGI-1のような最先端モデルの実験では、MotionCacheが大幅なスピードアップを実現している。
論文 参考訳（メタデータ） (2026-05-03T05:49:27Z) - WorldCache: Content-Aware Caching for Accelerated Video World Models [50.7543797435026]
我々はPerception-Constrained Dynamic CaCacheフレームワークであるtextbfWorldCacheを紹介する。
WorldCacheは、機能をいつ、どのように再利用するかを改善します。
PAI-Benchで評価されたCosmos-2.5-2Bでは、WorldCacheはtextbf$2.3times$推論スピードアップを実現し、textbf99.4%のベースライン品質を維持している。
論文 参考訳（メタデータ） (2026-03-23T17:59:54Z) - Lightning Fast Caching-based Parallel Denoising Prediction for Accelerating Talking Head Generation [50.04968365065964]
拡散に基づく音声ヘッドモデルは高品質でフォトリアリスティックなビデオを生成するが、推論が遅い。
我々はLightning-fast Caching-based Parallel Denoising Prediction (LightningCP)を紹介する。
また,より高速な注意計算を実現するために,DFA(Decoupled Foreground Attention)を提案する。
論文 参考訳（メタデータ） (2025-08-25T02:58:39Z) - Less is Enough: Training-Free Video Diffusion Acceleration via Runtime-Adaptive Caching [57.7533917467934]
EasyCacheは、ビデオ拡散モデルのためのトレーニング不要のアクセラレーションフレームワークである。
我々は,OpenSora,Wan2.1,HunyuanVideoなどの大規模ビデオ生成モデルについて包括的な研究を行っている。
提案手法は,従来のベースラインと比較して推定時間を最大2.1-3.3$times$に短縮する。
論文 参考訳（メタデータ） (2025-07-03T17:59:54Z) - SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers [4.7170474122879575]
Diffusion Transformer (DiT)は、画像、ビデオ、音声合成など、様々なタスクのための強力な生成モデルとして登場した。
本稿では,DiTアーキテクチャのモデルに依存しない推論高速化手法であるSmoothCacheを紹介する。
我々の実験は、SmoothCacheが71%のスピードアップを実現し、多様なモダリティをまたいだ生成品質の維持や改善を実現していることを示している。
論文 参考訳（メタデータ） (2024-11-15T16:24:02Z) - Adaptive Caching for Faster Video Generation with Diffusion Transformers [52.73348147077075]
拡散変換器(DiT)はより大きなモデルと重い注意機構に依存しており、推論速度が遅くなる。
本稿では,Adaptive Caching(AdaCache)と呼ばれる,ビデオDiTの高速化のためのトレーニング不要手法を提案する。
また,AdaCache内で動画情報を利用するMoReg方式を導入し,動作内容に基づいて計算割り当てを制御する。
論文 参考訳（メタデータ） (2024-11-04T18:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。