論文の概要: UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning and Trajectory Guidance

• arxiv url: http://arxiv.org/abs/2610.05932v1
• Date: Mon, 05 Oct 2026 07:49:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:05:41.360257
• Title: UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning and Trajectory Guidance
• Title（参考訳）: UltraDub:視覚的学習と軌道誘導を統合した認証ダビングを目指して
• Abstract要約: 視覚的音声クローニングのための学習・軌道誘導フレームワークであるUltraDubを提案する。 MDRモジュールは、共通のリップモーションクエリー残量を通じて言語と話者スタイルの検索を継続的に調整する。 RTGは、視覚のみの予測中間点において階層的マルチモーダル補正を評価する、トレーニング不要のメカニズムである。
• 参考スコア（独自算出の注目度）: 82.04530909080398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual voice cloning requires intelligible, speaker-consistent speech synchronized with visible articulation. However, sequential multimodal conditioning can disrupt previously established temporal and speaker cues, while imbalanced inference guidance can improve linguistic accuracy at the expense of lip synchronization. In this paper, we propose UltraDub, a Unifying Visually-Steered Flow learning and trajectory Guidance Dubbing framework that leverages vision in two ways: as continuous motion for multimodal context aggregation, and as structural rhythm for trajectory rectification. Specifically, we introduce the Motion-guided Dual-context Retrieving (MDR) module, which continually recalibrates linguistic and speaker-style retrieval through shared lip-motion query residuals, utilizing independent time-conditioned gates to regulate their contributions. Furthermore, we propose Rhythm-anchored Trajectory Guidance (RTG), a training-free mechanism that evaluates hierarchical multimodal corrections at a visual-only predictive midpoint, safely strengthening semantic conditioning while better preserving temporal alignment. Finally, we construct DiverseDub, a multi-scenario benchmark to evaluate video dubbing in the wild. Extensive experiments demonstrate that UltraDub achieves state-of-the-art performance across four datasets.
• Abstract（参考訳）: 視覚的音声のクローニングには、可視的調音と同期した無知な話者一貫性音声が必要である。 しかし、シーケンシャルなマルチモーダル条件付けは、それまで確立されていた時間的・話者的手がかりを妨害しうる一方で、不均衡な推論ガイダンスは、リップ同期を犠牲にして言語的正確性を向上させることができる。 本稿では,マルチモーダルなコンテキストアグリゲーションのための連続的な動きと,軌道修正のための構造的リズムの2つの方法でビジョンを活用する,一元的ビジュアル・ステアリング・フロー学習とトラジェクティブ・ガイダンス・ダビング・フレームワークであるUltraDubを提案する。 具体的には,MDRモジュール(Motion-guided Dual-Context Retrieving)について紹介する。 さらに,Rhythm-anchored Trajectory Guidance (RTG) を提案する。これは視覚のみの予測中間点における階層的マルチモーダル補正を評価し,セマンティックコンディショニングを安全に強化し,時間的アライメントをよりよく保存する学習自由機構である。 最後に、マルチシナリオベンチマークであるDiverseDubを構築し、野生におけるビデオダビングを評価する。 大規模な実験により、UltraDubは4つのデータセットで最先端のパフォーマンスを実現している。

関連論文リスト

• When Speech Meets Lips: Interpretable Audio-Visual Synchronization for L2 Pronunciation Assessment [12.51525565225002]
  本稿では,音声-リップの時間的アライメントを明示的にモデル化する,解釈可能な音声-視覚同期フレームワークを提案する。 10名のインストラクター,20名の学生を対象に質問紙調査を行い,その有効性について検討した。
  論文  参考訳（メタデータ） (2026-09-06T19:11:33Z)
• OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation [73.57253966578186]
  OmniVAEは、音声とビデオの潜伏表現の微粒なセマンティックアライメントを学習する、共同で訓練されたオーディオビデオVAEである。 実験により、両方の目的が常に潜在空間の学習性を改善することが示された。
  論文  参考訳（メタデータ） (2026-07-26T21:51:28Z)
• CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
  映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。 既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。 認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T05:03:57Z)
• DiFlowDubber: Discrete Flow Matching for Automated Video Dubbing via Cross-Modal Alignment and Synchronization [16.192222723269925]
  ビデオダビングは、映画製作、マルチメディア制作、補助音声技術に広く応用されている。 既存のアプローチでは、限られたダビングデータセットを直接トレーニングするか、事前トレーニングされたテキスト音声(TTS)モデルに適応する2段階のパイプラインを採用する。 本稿では,事前学習したTSモデルからビデオ駆動ダビングへの知識伝達を効果的に行う,新しい2段階トレーニングフレームワークであるDiFlowDubberを提案する。 2つの主要なベンチマークデータセットの実験では、DiFlowDubberは、複数のメトリクスで過去のメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-03-15T07:53:23Z)
• StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
  視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。 音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。 Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
  論文  参考訳（メタデータ） (2025-09-26T05:23:31Z)
• Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing [26.317163478761916]
  弱教師付き音声視覚ビデオ解析は、時間的アノテーションを使わずに、可聴性、可視性、および音声視覚イベントを検出する。 本稿では,信頼度の高いセグメントレベルのマスクを生成する指数移動平均(EMA)誘導擬似監視フレームワークを提案する。 また,クラス対応のクロスモーダル・アグリーメント(CMA)の損失も提案する。
  論文  参考訳（メタデータ） (2025-09-17T15:38:05Z)
• Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
  ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。 既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。 我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
  論文  参考訳（メタデータ） (2024-03-18T04:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。