論文の概要: Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
- arxiv url: http://arxiv.org/abs/2606.01620v1
- Date: Mon, 01 Jun 2026 03:12:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.895593
- Title: Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
- Title（参考訳）: 参照型Deep Compression VAEを用いたストリーミング型トーキング画像のリアルタイム生成
- Authors: Sicheng Xu, Yu Deng, Shoukang Hu, Yichuan Wang, Yizhong Zhang, Zhan Chen, Jiaolong Yang, Baining Guo,
- Abstract要約: 本研究は,音声および参照画像に条件付き,ストリーム可能な音声画像生成のためのフレームワークを提案する。
深い潜伏圧縮のための因果ビデオVAEと自己回帰潜伏復調モデルを備えている。
提案手法により,高品質な音声ポートレート映像をリアルタイムに生成し,ベースラインモデルよりもはるかに高速に撮影することができる。
- 参考スコア（独自算出の注目度）: 34.89430454530771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video diffusion models have significantly advanced portrait video generation, yet their high computational demands limit their use in interactive applications. This work presents a framework for streamable talking portrait video generation conditioned on speech audio and reference images. Designed meticulously for streaming scenarios, it features a causal video VAE for deep latent compression and an autoregressive latent denoising model. Our causal VAE integrates a variable number of reference images as guidance, allowing the network to focus on dynamic information rather than static appearance, thereby enhancing compression efficacy and reconstruction quality. Additionally, we extend the residual auto-encoding paradigm to improve spatial-temporal causality handling in our VAE. The generator is based on a Rectified Flow Transformer architecture and produces video latents in a blockwise auto-regressive manner. Our method enables the real-time generation of high-quality talking portrait videos, achieving speeds significantly faster than baseline models. Furthermore, comprehensive experiments demonstrate that it is on par with or even outperforms these large models in realism, vividness, and video quality.
- Abstract（参考訳）: ビデオ拡散モデルは、かなり高度なポートレートビデオ生成を持つが、その高い計算要求は、インタラクティブなアプリケーションでの使用を制限する。
本研究は,音声および参照画像に条件付き,ストリーム可能な音声画像生成のためのフレームワークを提案する。
ストリーミングシナリオ用に細心に設計されており、深い潜伏圧縮のための因果ビデオVAEと自己回帰潜伏復調モデルを備えている。
我々の因果的VAEは、可変数の参照イメージをガイダンスとして統合し、静的な外観よりもダイナミックな情報に集中できるようにし、圧縮効率と再構成品質を向上させる。
さらに,VAEにおける空間的因果処理を改善するために,残余の自動符号化パラダイムを拡張した。
このジェネレータは、Rectified Flow Transformerアーキテクチャに基づいており、ブロックワイズ自動回帰方式でビデオラテントを生成する。
提案手法により,高品質な音声ポートレート映像をリアルタイムに生成し,ベースラインモデルよりもはるかに高速に撮影することができる。
さらに、包括的な実験は、現実主義、鮮明さ、ビデオの品質において、これらの大きなモデルに匹敵する、あるいは上回っていることを実証している。
関連論文リスト
- DiT as Real-Time Rerenderer: Streaming Video Stylization with Autoregressive Diffusion Transformer [53.36692512160234]
本稿では,Diffusion Transformer をベースとした蒸気式ビデオスタイリングフレームワーク RTR-DiT (DiT as Real-Time Rerenderer) を提案する。
まず、ビデオスタイリゼーションデータセット上で双方向の教師モデルを微調整し、テキスト誘導と参照誘導の両方の動画スタイリゼーションタスクをサポートする。
次に, 自己強制・分散マッチング蒸留による後処理により, 数段階の自己回帰モデルに蒸留する。
実験の結果,RTR-DiTはテキスト誘導と参照誘導の両方で既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2026-04-15T05:52:43Z) - High-Fidelity Causal Video Diffusion Models for Real-Time Ultra-Low-Bitrate Semantic Communication [43.045237067909106]
超低ビットレートセマンティック通信制約下での高忠実度・因果性・リアルタイムビデオ生成のためのビデオ拡散モデルを提案する。
この枠組みは,超低速度(0.0003bpp)における知覚的品質,意味的忠実度,時間的一貫性を強く達成し,定量的,質的,主観的評価において,古典的,神経的,生成的ベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-14T17:23:55Z) - Autoregressive Video Autoencoder with Decoupled Temporal and Spatial Context [8.458436768725212]
ビデオオートエンコーダは、ビデオをコンパクトな潜在表現に圧縮して効率的な再構成を行う。
自動回帰ビデオオートエンコーダ(ARVAE)を提案する。
ARVAEは、非常に軽量なモデルと小規模のトレーニングデータにより、優れた再構築品質を実現する。
論文 参考訳（メタデータ） (2025-12-12T05:40:01Z) - READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。
提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。
また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-05T13:57:03Z) - LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。
当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
論文 参考訳（メタデータ） (2025-07-17T09:46:43Z) - MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。
まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。
次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。
第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。
第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
論文 参考訳（メタデータ） (2024-10-10T07:07:56Z) - VideoGen: A Reference-Guided Latent Diffusion Approach for High
Definition Text-to-Video Generation [73.54366331493007]
VideoGenはテキスト・ツー・ビデオ生成方式であり、フレームの忠実度が高く、時間的一貫性の強い高精細なビデオを生成することができる。
我々は,テキストプロンプトから高品質な画像を生成するために,既製のテキスト画像生成モデル,例えば,安定拡散(Stable Diffusion)を利用する。
論文 参考訳（メタデータ） (2023-09-01T11:14:43Z) - Latent Video Diffusion Models for High-Fidelity Long Video Generation [58.346702410885236]
低次元ラテント空間を用いた軽量映像拡散モデルを提案する。
また,1000フレーム以上の長編動画を生成できるように,遅延空間における階層的拡散も提案する。
我々のフレームワークは、以前の強力なベースラインよりもリアルで長いビデオを生成する。
論文 参考訳（メタデータ） (2022-11-23T18:58:39Z) - Insights from Generative Modeling for Neural Video Compression [31.59496634465347]
本稿では,深部自己回帰・潜時可変モデリングのレンズを用いたニューラルビデオ符号化アルゴリズムを提案する。
本稿では,高解像度映像に対して最先端の映像圧縮性能を実現するアーキテクチャを提案する。
さらに、生成的モデリングの観点から、ニューラルビデオ符号化の分野を前進させることができることを示す。
論文 参考訳（メタデータ） (2021-07-28T02:19:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。