論文の概要: VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing

• arxiv url: http://arxiv.org/abs/2611.03404v1
• Date: Mon, 02 Nov 2026 16:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:47:11.849853
• Title: VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
• Title（参考訳）: VidDub:2ステップビデオダビングのための交換式蒸留器
• Abstract要約: ビデオダビングは、話者のアイデンティティ、頭ポーズ、ソースビデオの背景を保存しながら、ターゲットの音声にマッチする唇の動きを合成することを目的としている。 オルタナティブ・アウェア・クロスオーディオの監督について紹介する。 フルコンテクスト拡散エディタであるVidDubを2段階に分割した。
• 参考スコア（独自算出の注目度）: 52.350861416497516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video dubbing aims to synthesize lip movements that match target speech while preserving the speaker identity, head pose, and background of a source video. Existing editors are predominantly trained via self-reconstruction under original paired audio, even though the source mouth becomes a conflicting target when driving speech is replaced. We introduce replacement-aware cross-audio supervision: paired-audio samples use full-frame reconstruction, whereas unpaired replacement-audio samples mask out source-mouth reconstruction losses and supervise the mouth solely through audio-visual synchronization while preserving unmasked facial regions and background. Because offline dubbing provides the complete source video and target speech beforehand, we present VidDub, a full-context diffusion editor distilled into two denoising steps (2 NFE). Our replacement-aware teacher first learns accurate lip synchronization without regressing toward conflicting source mouth movements. Matched trajectory regression then transfers the teacher's CFG-guided trajectories to a two-step student, and distribution matching distillation recovers visual quality after step compression. We will release the curated training dataset, VidDub-Bench, fixed paired- and cross-audio evaluation manifests, preprocessing outputs, and unified evaluation code. Across three training seeds, masking out conflicting source-mouth reconstruction improves cross-audio Sync-C by 0.833; the final two-step model combines strong lip synchronization with superior visual quality, identity preservation, and visual speech recognition across four benchmarks.
• Abstract（参考訳）: ビデオダビングは、話者のアイデンティティ、頭ポーズ、ソースビデオの背景を保存しながら、ターゲットの音声にマッチする唇の動きを合成することを目的としている。 既存のエディタは、音声の駆動が置き換えられる際に、ソース口が相反するターゲットになったとしても、元のペアオーディオの下で自己再構成によって主に訓練される。 補聴器の補聴器を用いた補聴器の補聴器による補聴器の補聴器による補聴器の補聴器による補聴器の補聴器による補聴器の補聴器による補聴器の補聴器による補聴器の補聴器による補聴器の補聴器の補聴器による補聴器の補聴器による補聴器の補聴器について検討した。 オフラインダビングは前もって完全なソースビデオとターゲット音声を提供するので、フルコンテクスト拡散エディタであるVidDubを2つのデノナイズステップ(2 NFE)に蒸留する。 代替意識を持つ教師はまず口の動きに反することなく正確な唇の同期を学習する。 一致した軌道回帰は、教師のCFG誘導軌道を2ステップの学生に転送し、分配マッチング蒸留はステップ圧縮後の視覚的品質を回復させる。 キュレートされたトレーニングデータセットであるVidDub-Bench、固定されたペアとクロスオーディオの評価マニフェスト、事前処理出力、統一された評価コードをリリースする。 3つのトレーニング種にまたがって、競合するソース・マウスの再構築をマスクアウトし、0.833でクロスオーディオのSync-Cを改善し、最後の2ステップモデルでは、強い唇同期と優れた視覚的品質、アイデンティティ保存、視覚的音声認識を4つのベンチマークで組み合わせている。

関連論文リスト

• OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation [77.09140202364757]
  バランスよく安定したオーディオビデオ生成のためのモダリティワイドなオンライン蒸留フレームワークであるOmniOPDを提案する。 我々は,OmniOPDが音声品質を保ちながら,映像生成を著しく向上させ,効果的なジョイント蒸留を実現していることを示す。
  論文  参考訳（メタデータ） (2026-11-02T09:11:39Z)
• TBDub: Production-Oriented Visual Dubbing [8.939420811799693]
  textbfTBDubは、X-Dubのプロダクション指向拡張である。 ポストトレーニングは、プロダクションドメインデータを使用してビデオDiTに適応する。 蒸留はDMD/DMD2を条件付きビデオ編集に適応させ、教師を2ステップの学生に圧縮する。
  論文  参考訳（メタデータ） (2026-09-05T15:38:23Z)
• UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos [23.032949794607106]
  講演ビデオにおける音声と視覚の相互同一性をストリーミングする最初のフレームワークであるUniSwapについて紹介する。 実験では、強い音声と視覚の同期、競争力のあるアイデンティティ保存、効率的なストリーミング、安定したロングフォーム生成が示される。
  論文  参考訳（メタデータ） (2026-08-12T07:45:39Z)
• SyncAnyone: Implicit Disentanglement via Progressive Self-Correction for Lip-Syncing in the wild [16.692450893925148]
  SyncAnyoneは、2段階の学習フレームワークで、正確なモーションモデリングと高い視覚的忠実度を同時に実現している。 ソースビデオからリップ同期映像を合成して擬似ペアリングトレーニングサンプルを作成するデータ生成パイプラインを開発した。 さらに、この合成データに基づいてステージ2モデルを調整し、正確な唇編集と背景の整合性を向上する。
  論文  参考訳（メタデータ） (2025-12-25T16:49:40Z)
• StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
  視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。 音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。 Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
  論文  参考訳（メタデータ） (2025-09-26T05:23:31Z)
• StyleDubber: Towards Multi-Scale Style Learning for Movie Dubbing [125.86266166482704]
  フレームレベルから音素レベルへのダビング学習を切り替えるStyleDubberを提案する。 本研究は,(1) 音素レベルで動作するマルチモーダルスタイル適応器を用いて,参照音声から発音スタイルを学習し,ビデオで提示される顔の感情によって伝達される中間表現を生成すること,(2) メルスペクトル復号と中間埋め込みからの精製プロセスの両方を案内して全体のスタイル表現を改善する発話レベル学習モジュール,(3) 唇同期を維持するための音素誘導唇整合器,の3つの構成要素を含む。
  論文  参考訳（メタデータ） (2024-02-20T01:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。