論文の概要: Decoupled Self-Forcing Distillation for Streaming Talking Head Generation
- arxiv url: http://arxiv.org/abs/2609.10317v1
- Date: Wed, 09 Sep 2026 15:22:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.081413
- Title: Decoupled Self-Forcing Distillation for Streaming Talking Head Generation
- Title（参考訳）: 発声音声生成のためのデカップリング自己強制蒸留法
- Abstract要約: ストリーミングトークヘッド生成は、その駆動オーディオが到着するにつれて各フレームを生成するが、その忠実さと効率性は、これまでは反対方向に引っ張られている。
我々は、前者のコストが核融合の標的にあると主張している。
代わりに、低次元の恒等距離運動空間で条件を融合する。
- 参考スコア（独自算出の注目度）: 26.492258321340312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Streaming talking-head generation produces each frame as its driving audio arrives, yet fidelity and efficiency have so far pulled in opposite directions: end-to-end methods condition a video diffusion model on audio directly and achieve high quality but only at large scale, while cheaper two-stage methods generate an intermediate motion representation and trail in fidelity. We argue the cost of the former lies in the target of fusion: the video latent is dominated by identity, appearance and background, none of which audio bears on, so coupling audio to every pixel blurs detail and wastes capacity. We instead fuse conditions in a low-dimensional identity-disentangled motion space, routing audio and motion captions by their temporal granularity, and generate motion latents with a small causal autoregressive transformer that a pretrained diffusion renderer turns into video. Conditions thus control video transitively, and high fidelity no longer requires a large backbone. Streaming this decomposition needs both models to be causal, and the exposure-bias problem could be solved by self-forcing given a bidirectional teacher. But there is no such teacher in motion space. Our decoupled self-forcing distillation resolves both models under one frozen teacher: conditioned on motion, it distills the renderer into a block-causal student; unconditionally, it scores rendered rollouts against real videos, supervising motion by the video it produces. This lifts the fidelity ceiling from the motion generator onto the stronger renderer. The two models run as parallel causal streams, reaching 15.4 FPS at 1.3 s latency with no quality degradation.
- Abstract（参考訳）: ストリーミング対話ヘッド生成は、その駆動オーディオが到着するにつれて、各フレームを生成するが、その忠実度と効率性は、これまでのところ、反対方向に引き上げられている: エンドツーエンドの手法は、直接オーディオ上にビデオ拡散モデルを条件付け、高品質にしか達成できないが、大規模にしか実現できない。
ビデオのラテントはアイデンティティ、外観、背景に支配されており、どのオーディオもついていないため、すべてのピクセルにオーディオを結合することは詳細を曖昧にし、キャパシティを無駄にする。
その代わりに、低次元の個人差動空間における条件を融合させ、音声と動きのキャプションを時間的粒度でルーティングし、予め訓練された拡散レンダラーが映像化される小さな因果自己回帰変換器を用いて、動き潜時を生成する。
したがって、条件は動画を過渡的に制御し、高忠実度はもはや大きなバックボーンを必要としない。
この分解をストリーミングするには、両方のモデルを因果的にする必要がある。
しかし、運動空間にそのような教師はいない。
我々の分離された自己強制蒸留は、両方のモデルを凍結した教師の下で解決する: 動きによって条件付けされ、レンダラーをブロックカウサルの学生に蒸留する; 無条件で、実際のビデオに対してレンダリングされたロールアウトを記録し、ビデオによって動きを監視する。
これにより、モーションジェネレータからより強いレンダラーに忠実な天井を持ち上げる。
2つのモデルは並列因果ストリームとして動作し、品質劣化のない1.3秒で15.4 FPSに達する。
関連論文リスト
- Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming [24.73791931334844]
Vorch-Streamerは、リアルタイム・ロングフォームのText-to-Audio-Video(T2AV)ストリーミングを可能にするポストトレーニングフレームワークである。
12～21秒にまたがる80Kアバタークリップの合成コーパスを構築し、まず教師強制と拡散強制を混合した因果生成器を訓練する。
コンテキスト境界と4段階のデノベーションにより、Vorch-Streamerはテキストから27.12 FPSで音声とビデオを共同生成し、24-FPSのリアルタイム再生速度を超える。
論文 参考訳（メタデータ） (2026-08-06T07:00:37Z) - Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。
共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。
ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
論文 参考訳（メタデータ） (2026-04-26T07:48:47Z) - Streaming Autoregressive Video Generation via Diagonal Distillation [50.13573884115673]
自己回帰モデルは、シーケンシャルフレーム合成のための自然なフレームワークを提供するが、高い忠実性を達成するためには重い計算を必要とする。
ビデオチャンクとデノイングステップの時間的情報を活用するために,ダイアゴナル蒸留を提案する。
本手法は,2.61秒(最大31FPS)で5秒ビデオを生成し,未蒸留モデル上で277.3倍のスピードアップを実現する。
論文 参考訳（メタデータ） (2026-03-10T10:45:24Z) - MotionStream: Real-Time Video Generation with Interactive Motion Controls [60.403597895657505]
単一GPU上で最大29FPSのストリーミング生成が可能なサブ秒レイテンシを実現するMotionStreamを提案する。
提案手法は,グローバルなテキストプロンプトとローカルなモーションガイダンスに準拠する高品質なビデオを生成するが,リアルタイムでは推論を行わないモーションコントロールによるテキスト・ツー・ビデオモデルの拡張から始まる。
我々のモデルでは、動きの追従と映像の質を2桁高速化し、無限長のストリーミングを可能にする。
論文 参考訳（メタデータ） (2025-11-03T06:37:53Z) - MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models [50.162882483045045]
本研究では、予め訓練されたビデオエンコーダから非交叉運動部分空間を学習する動き中心アライメントフレームワークを提案する。
この部分空間は、地表面の光学的流れを予測し、真の運動力学を捉えるよう最適化されている。
次に,テキスト間拡散モデルの潜在的特徴をこの新たなサブスペースに整合させ,生成モデルが動きの知識を内部化し,より高機能なビデオを生成することを可能にする。
論文 参考訳（メタデータ） (2025-10-21T19:05:23Z) - StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。
本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
論文 参考訳（メタデータ） (2025-08-11T17:58:24Z) - M2DAO-Talker: Harmonizing Multi-granular Motion Decoupling and Alternating Optimization for Talking-head Generation [65.48046909056468]
我々は,音声音声生成をビデオ前処理,モーション表現,レンダリング再構成を含む統一的なフレームワークに再構成する。
M2DAO-Talkerは2.43dBのPSNRの改善とユーザ評価ビデオの画質0.64アップで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-07-11T04:48:12Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳（メタデータ） (2024-12-10T18:59:50Z) - High-Fidelity and Freely Controllable Talking Head Video Generation [31.08828907637289]
本稿では,頭部ポーズと表情を自由に制御できる高忠実な音声ヘッドビデオを生成する新しいモデルを提案する。
顔の歪みを伴わずに効果的に動きを伝達する動き認識機能アライメントモジュールを新たに導入する。
我々は,挑戦的データセットのモデルを評価し,その最先端性能を実証する。
論文 参考訳（メタデータ） (2023-04-20T09:02:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。