論文の概要: CAVC: Convergence-Adaptive Audio-Visual Cache for Modality-Asymmetric Diffusion Generation
- arxiv url: http://arxiv.org/abs/2610.30854v1
- Date: Thu, 22 Oct 2026 07:30:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.270119
- Title: CAVC: Convergence-Adaptive Audio-Visual Cache for Modality-Asymmetric Diffusion Generation
- Title（参考訳）: CAVC: モーダリティ非対称拡散生成のための収束適応オーディオ・ビジュアルキャッシュ
- Abstract要約: トレーニング不要なモダリティ非対称キャッシングフレームワークであるtextbfConvergence-Adaptive Audio-Visual Cache (CAVC) を提案する。
複数の公開ベンチマークで実験した結果、CAVCは1.10--1.35倍のウォールクロック加速を達成した。
- 参考スコア（独自算出の注目度）: 22.262478148216687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion-based audio-visual generation methods typically perform joint denoising of audio and video latents throughout the entire sampling trajectory, repeatedly executing modality-specific denoising branches and cross-modal attention at every timestep. However, we observe that such uniform joint computation is not always necessary. The key is a modality-asymmetric recoverability: audio-side drift introduced by mid-stage caching can be substantially reduced by only a few terminal joint denoising steps, whereas video-side degradation caused by caching leads to persistent loss of motion and temporal details. This asymmetry suggests that inference acceleration should selectively cache recoverable audio-side computation while preserving full video refinement. Motivated by this observation, we propose \textbf{Convergence-Adaptive Audio-Visual Cache (CAVC)}, a training-free modality-asymmetric caching framework. CAVC adopts a sandwich-structured computation allocation: after detecting that audio denoiser outputs enter a cache-tolerant regime, it caches and reuses the audio denoiser output to bypass audio denoising and cross-modal attention in the middle stage, while the video branch continues independent spatio-temporal refinement; a few joint steps are then restored at the end to reduce accumulated cross-modal drift and improve synchronization. Experiments across multiple public benchmarks demonstrate that CAVC achieves 1.10--1.35x wall-clock acceleration, improves several visual dynamics and temporal statistics, and maintains competitive audio fidelity and audio-visual alignment.
- Abstract（参考訳）: 拡散に基づく音声視覚生成法は、典型的にはサンプリング軌道全体を通して、音声とビデオの潜伏者を共同で復調し、毎回、モダリティ特異的な復調枝とクロスモーダルな注意を繰り返す。
しかし,このような一様関節計算は必ずしも必要ではない。
鍵となるのは、モダリティ非対称な回復性である: 中間ステージキャッシングによって導入されたオーディオ側ドリフトは、少数の終端関節脱調ステップによって大幅に低減され、一方、キャッシングによるビデオ側劣化は、動きの持続的な損失と時間的詳細をもたらす。
この非対称性は、推論アクセラレーションが完全なビデオリファインメントを保ちながら、再生可能なオーディオサイドの計算を選択的にキャッシュする必要があることを示唆している。
そこで本研究では,学習不要なモダリティ非対称キャッシングフレームワークである,CAVC(textbf{Convergence-Adaptive Audio-Visual Cache)を提案する。
CAVCは、オーディオデノイザ出力がキャッシュ耐性状態に入ることを検知した後、中間段階でオーディオデノイザ出力をキャッシュして再利用し、ビデオブランチは独立時空間改善を継続し、最後にいくつかのジョイントステップを復元して、蓄積したクロスモーダルドリフトを低減し、同期を改善する。
複数の公開ベンチマークでの実験では、CAVCは1.10--1.35倍のウォールクロック加速を実現し、いくつかの視覚力学と時間統計を改善し、競合するオーディオの忠実さとオーディオ-視覚アライメントを維持している。
関連論文リスト
- Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention [31.052048543229464]
効率的な音声視覚生成のための同期対応アクセラレーションフレームワークを提案する。
提案手法は,映像品質,音声品質,音声とビデオの同期を保ちながら,推論効率を向上させる。
論文 参考訳（メタデータ） (2026-08-16T04:26:05Z) - TaoMate: Anchor-Guided Memory Bridging Evolving and Reference States for Real-Time Audio-Video Digital Human Generation [17.429355392513354]
リアルタイムのロングフォームデジタル・ヒューマン・ジェネレーションは、音声視覚コンテンツを拡張するための因果モデルに依存している。
Methodは、数ステップのジョイントオーディオビデオ生成のためのアンカー誘導永続メモリフレームワークである。
論文 参考訳（メタデータ） (2026-07-27T12:35:32Z) - Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - SyncCache: Exploiting Asymmetric Dynamics for Fast Audio-Driven Portrait Animation [72.09280113664535]
Diffusion Transformer (DiT) は、オーディオ駆動のポートレートアニメーションを著しく進歩させたが、その高い計算コストは、かなりの推論遅延をもたらす。
そこで我々は,DiT ベースのポートレートアニメーションに適した,トレーニング不要なキャッシュアクセラレーション手法 SyncCache を提案する。
論文 参考訳（メタデータ） (2026-06-29T19:26:13Z) - RhymeFlow: Training-Free Acceleration for Video Generation with Asynchronous Denoising Flow Scheduling [51.279397568734424]
Diffusion Transformers (DiTs) に基づく映像生成モデルは,映像合成において顕著な性能を発揮している。
DiTは3次元の注意の二次的な複雑さのために、高い推論遅延と計算コストに悩まされる。
我々はbftextRhymeFlowを紹介した。bftextRhymeFlowはトレーニング不要のフレームワークで、異なるフレームの認知軌道を分離する。
論文 参考訳（メタデータ） (2026-06-04T15:49:37Z) - Beyond Few-Step Inference: Accelerating Video Diffusion Transformer Model Serving with Inter-Request Caching Reuse [19.120308047100057]
Chorusは、リクエスト間の類似性を活用して、ビデオ拡散モデルの提供を加速するキャッシュアプローチである。
コーラスは工業用4段蒸留機で最大45%のスピードアップを達成する。
論文 参考訳（メタデータ） (2026-04-06T05:55:13Z) - Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep [37.62908191585867]
HetCacheは、ビデオ・ツー・ビデオ(MV2V)の生成と編集のためのトレーニング不要な拡散加速フレームワークである。
編集の一貫性と忠実さを維持しながら、冗長な注意操作を低減する。
実験によると、HetCacheは2.67$times$レイテンシのスピードアップやFLOPの削減など、目立った加速を実現している。
論文 参考訳（メタデータ） (2026-03-25T12:53:31Z) - SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching [75.02865981328509]
キャッシュは、以前計算されたモデル出力をタイムステップで再利用することで計算を減らす。
本稿では,動的キャッシュポリシーであるSensitivity-Aware Caching(SenCache)を提案する。
SenCacheは、同様の計算予算の下で、既存のキャッシュメソッドよりも視覚的品質が向上する。
論文 参考訳（メタデータ） (2026-02-27T17:36:09Z) - StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。
本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
論文 参考訳（メタデータ） (2025-08-11T17:58:24Z) - Real-time Streaming Video Denoising with Bidirectional Buffers [48.57108807146537]
リアルタイムDenoisingアルゴリズムは、通常、ビデオストリームの撮影と送信にかかわるノイズを取り除くために、ユーザーデバイスに採用されている。
最近のマルチアウトプット推論は、双方向の時間的特徴を並列または繰り返しのフレームワークで伝達する。
本研究では,過去と未来の両方の時間的受容場を持つストリーミングビデオに対して,高忠実度リアルタイムデノナイズを実現するための双方向ストリーミングビデオデノナイズフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-14T14:01:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。