論文の概要: TBDub: Production-Oriented Visual Dubbing
- arxiv url: http://arxiv.org/abs/2609.06144v1
- Date: Sat, 05 Sep 2026 15:38:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 06:38:54.69914
- Title: TBDub: Production-Oriented Visual Dubbing
- Title（参考訳）: TBDub:生産指向のビジュアルダビング
- Abstract要約: textbfTBDubは、X-Dubのプロダクション指向拡張である。
ポストトレーニングは、プロダクションドメインデータを使用してビデオDiTに適応する。
蒸留はDMD/DMD2を条件付きビデオ編集に適応させ、教師を2ステップの学生に圧縮する。
- 参考スコア（独自算出の注目度）: 8.939420811799693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual dubbing must synchronize mouth motion with replacement speech while preserving identity, appearance, and temporal consistency. Although X-Dub provides a strong mask-free video-editing baseline, its application to livestream and generated-video content reveals limitations in production-domain robustness, temporal and motion stability, identity and oral-detail preservation, and inference efficiency. We present \textbf{TBDub}, a production-oriented extension of X-Dub that combines task-adaptive post-training with task-aware few-step distillation. Post-training adapts the video DiT using production-domain data, production-specific conditioning and filtering, and enhanced audio features to obtain a 30-step Teacher. Distillation adapts DMD/DMD2 to conditional video editing and compresses the Teacher into a two-step Student. On 38 TalkVid clips, the Teacher improves all eight reported reconstruction, perceptual, identity, and synchronization metrics over X-Dub. In the MOS evaluation, it improves lip-sync consistency, identity consistency, and visual quality over X-Dub by 0.14, 0.95, and 0.90 points, while the Student achieves the highest lip-sync and visual-quality scores and remains close to the Teacher in identity consistency. In paired end-to-end generation timing from the first VAE encode through the final VAE decode on a single NVIDIA H20 GPU at $512\times512$, the Student reaches 7.13 effective FPS and reduces total latency by $13.93\times$; the DiT stage alone is accelerated by $42.49\times$. The Student largely retains the Teacher's generation quality and audiovisual synchronization. The code is available on GitHub at \https://github.com/TaoLiveAIGC/TBDub, and the 30-step Teacher and two-step Student weights are available on Hugging Face at https://huggingface.co/TaoLiveAIGC/TBDub.
- Abstract（参考訳）: 視覚的ダビングは、同一性、外観、時間的一貫性を保ちながら、口の動きと代用音声とを同期させなければならない。
X-Dubは強力なマスクレスビデオ編集ベースラインを提供するが、ライブストリームおよび生成されたビデオコンテンツに適用することで、生産領域の堅牢性、時間的・動作的安定性、アイデンティティと口頭細部保存、推論効率の限界が明らかになる。
本稿では,タスク適応後学習とタスク認識数ステップ蒸留を組み合わせた,生産指向のX-Dub拡張であるtextbf{TBDub}を提案する。
ポストトレーニングでは、プロダクションドメインデータ、プロダクション固有の条件付けとフィルタリングを使用してビデオDiTに適応し、オーディオ機能を強化して30ステップの教師を得る。
蒸留はDMD/DMD2を条件付きビデオ編集に適応させ、教師を2ステップの学生に圧縮する。
38 TalkVidのクリップでは、教師はX-Dub上で報告された8つの再構築、知覚、アイデンティティ、同期のメトリクスを改善している。
MOS評価では、X-Dub上のリップシンクの一貫性、アイデンティティの一貫性、視覚的品質を0.14、0.95、0.90ポイント改善し、学生は最も高いリップシンクと視覚的品質のスコアを獲得し、アイデンティティの一貫性において教師に近づいたままである。
最初のVAEエンコードから最後のVAEデコードを経て512\times512$で最後のVAEデコードまでのペアエンドツーエンドのタイミングで、学生は7.13の有効なFPSに達し、総レイテンシを13.93\times$に削減する。
学生は、主に教師の世代的品質と聴覚的同期を維持している。
コードはGitHubでhttps://github.com/TaoLiveAIGC/TBDubで、30ステップの教師と2ステップの学生のウェイトはHugging Faceでhttps://huggingface.co/TaoLiveAIGC/TBDubで入手できる。
関連論文リスト
- Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming [24.73791931334844]
Vorch-Streamerは、リアルタイム・ロングフォームのText-to-Audio-Video(T2AV)ストリーミングを可能にするポストトレーニングフレームワークである。
12～21秒にまたがる80Kアバタークリップの合成コーパスを構築し、まず教師強制と拡散強制を混合した因果生成器を訓練する。
コンテキスト境界と4段階のデノベーションにより、Vorch-Streamerはテキストから27.12 FPSで音声とビデオを共同生成し、24-FPSのリアルタイム再生速度を超える。
論文 参考訳（メタデータ） (2026-08-06T07:00:37Z) - Lip Forcing: Few-Step Autoregressive Diffusion for Real-time Lip Synchronization [28.07368643444433]
Lip Forcingは、ビデオ対ビデオ(V2V)リップ同期のための最初の自己回帰拡散法である。
学生は、推測時間CFGを使わずに、各チャンクを2段階に分けて生成する。
Lip Forcing氏はこの発見を,Sync-Window DMD,2ステップの推論スケジュール,SyncNetベースの報酬という,分析から派生した3つのコンポーネントに変換する。
論文 参考訳（メタデータ） (2026-06-09T17:56:36Z) - CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation [107.75241387090271]
大規模かつオープンなText-to-Audio-VideoデータセットであるCineDance-1Mを紹介する。
平均92.8秒と24.2秒の連続撮影を行い、オーディオとビデオの両方のアノテーションを提供する。
包括的評価のために,多様なプロンプトスイートと6次元の人間対応計量システムを備えたCineBenchを提案する。
論文 参考訳（メタデータ） (2026-06-08T15:35:51Z) - Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation [29.637920236800394]
本稿では,共同音声・視覚アバター生成のためのストリーミングフレームワークであるHolo-Liveを紹介する。
Future-Expanding Attentionでは、各ビデオブロックが同期オーディオにアクセスでき、将来的な音声のヒントも短い。
HP-DMDは、視覚的忠実度、音声の自然性、音声と視覚の同期による報酬を用いて、トレーニングサンプルを再重み付けする。
論文 参考訳（メタデータ） (2026-04-26T09:46:58Z) - FunCineForge: A Unified Dataset Toolkit and Model for Zero-Shot Movie Dubbing in Diverse Cinematic Scenes [56.534404169212785]
FunCineForgeは、大規模なダビングデータセットのためのエンドツーエンド生産パイプラインと、さまざまな撮影シーン用に設計されたMLLMベースのダビングモデルで構成されている。
リッチアノテーションを用いた中国初のテレビダビングデータセットを構築し,その高品質性を実証する。
モノローグ,ナレーション,対話,マルチスピーカーシーンにおける実験により,我々のダビングモデルは音質,リップシンク,音色伝達,指示追従のSOTA手法より一貫して優れていた。
論文 参考訳（メタデータ） (2026-01-21T08:57:00Z) - Soul: Breathe Life into Digital Human for High-fidelity Long-term Multimodal Animation [70.86886231976439]
Soulは、高忠実な長期デジタルヒューマンアニメーションのためのフレームワークである。
単一のフレームのポートレートイメージ、テキストプロンプト、オーディオからセマンティックコヒーレントなビデオを生成する。
正確な唇の同期、鮮やかな表情、堅牢なアイデンティティ保存を実現している。
論文 参考訳（メタデータ） (2025-12-15T16:25:56Z) - InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。
無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。
HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
論文 参考訳（メタデータ） (2025-08-19T17:55:23Z) - MagicInfinite: Generating Infinite Talking Videos with Your Words and Voice [32.11839495981128]
MagicInfiniteは、多種多様な現実的な人間、フルボディの人物、スタイル化されたアニメキャラクターに高い忠実度をもたらす。
裏面のビューを含むさまざまな顔のポーズをサポートし、正確に話者を指定するための入力マスク付きの単文字または複数文字のアニメイトをサポートする。
論文 参考訳（メタデータ） (2025-03-07T23:21:11Z) - Seeing in the Dark: A Teacher-Student Framework for Dark Video Action Recognition via Knowledge Distillation and Contrastive Learning [2.772895608190934]
ActLumosは、マルチストリームレベルの正確性を保ちながら、シングルストリーム推論を実現する教師向けフレームワークである。
単流推論では、ARID V1.0では96.92%(Top-1)、ARID V1.5では88.27%、Dark48では48.96%である。
論文 参考訳（メタデータ） (2025-02-06T02:26:47Z) - Enhancing Temporal Consistency in Video Editing by Reconstructing Videos with 3D Gaussian Splatting [94.84688557937123]
Video-3DGSは、ゼロショットビデオエディタの時間的一貫性を高めるために設計された3Dガウススプラッティング(3DGS)ベースのビデオ精細機である。
本手法は動的モノクロビデオの編集に適した2段階の3次元ガウス最適化プロセスを利用する。
58の動的モノクロビデオ間の時間的一貫性を確保することで、ビデオ編集を強化する。
論文 参考訳（メタデータ） (2024-06-04T17:57:37Z) - StyleDubber: Towards Multi-Scale Style Learning for Movie Dubbing [125.86266166482704]
フレームレベルから音素レベルへのダビング学習を切り替えるStyleDubberを提案する。
本研究は,(1) 音素レベルで動作するマルチモーダルスタイル適応器を用いて,参照音声から発音スタイルを学習し,ビデオで提示される顔の感情によって伝達される中間表現を生成すること,(2) メルスペクトル復号と中間埋め込みからの精製プロセスの両方を案内して全体のスタイル表現を改善する発話レベル学習モジュール,(3) 唇同期を維持するための音素誘導唇整合器,の3つの構成要素を含む。
論文 参考訳（メタデータ） (2024-02-20T01:28:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。