論文の概要: SyncVoice: Towards Video Dubbing with Vision-Augmented Pretrained TTS Model
- arxiv url: http://arxiv.org/abs/2512.05126v1
- Date: Sun, 23 Nov 2025 16:51:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-15 04:16:52.47747
- Title: SyncVoice: Towards Video Dubbing with Vision-Augmented Pretrained TTS Model
- Title（参考訳）: SyncVoice: ビジョン強化型事前訓練TSモデルによるビデオダビングを目指して
- Authors: Kaidi Wang, Yi He, Wenhao Guan, Weijie Wu, Hongwu Ding, Xiong Zhang, Di Wu, Meng Meng, Jian Luan, Lin Li, Qingyang Hong,
- Abstract要約: ビデオダビングは、視覚内容と時間的に正確に一致した高忠実度音声を生成することを目的としている。
既存の手法は、音声の自然さと音声と視覚の同期の限界に悩まされている。
我々は、事前訓練されたテキスト音声(TTS)モデルに基づいて構築された、ヴィジュアライズされたビデオダビングフレームワークSyncVoiceを提案する。
- 参考スコア（独自算出の注目度）: 34.874153953305346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video dubbing aims to generate high-fidelity speech that is precisely temporally aligned with the visual content. Existing methods still suffer from limitations in speech naturalness and audio-visual synchronization, and are limited to monolingual settings. To address these challenges, we propose SyncVoice, a vision-augmented video dubbing framework built upon a pretrained text-to-speech (TTS) model. By fine-tuning the TTS model on audio-visual data, we achieve strong audiovisual consistency. We propose a Dual Speaker Encoder to effectively mitigate inter-language interference in cross-lingual speech synthesis and explore the application of video dubbing in video translation scenarios. Experimental results show that SyncVoice achieves high-fidelity speech generation with strong synchronization performance, demonstrating its potential in video dubbing tasks.
- Abstract（参考訳）: ビデオダビングは、視覚内容と時間的に正確に一致した高忠実度音声を生成することを目的としている。
既存の手法は、音声の自然性や音声と視覚の同期の制限に悩まされており、モノリンガル設定に限定されている。
これらの課題に対処するために、事前に訓練されたテキスト音声(TTS)モデルに基づいて構築された、ヴィジュアライズされたビデオダビングフレームワークSyncVoiceを提案する。
音声・視覚データ上でのTTSモデルの微調整により,強い視覚的整合性を実現する。
本稿では、音声合成における言語間干渉を効果的に軽減するデュアル話者エンコーダを提案し、ビデオ翻訳シナリオにおけるビデオダビングの適用について検討する。
実験結果から、SyncVoiceは高忠実度音声生成を実現し、高い同期性能を実現し、ビデオダビングタスクの可能性を示した。
関連論文リスト
- Shared Latent Representation for Joint Text-to-Audio-Visual Synthesis [57.5830191022097]
Text-to-VecモジュールはテキストからWav2Vec2埋め込みを生成する。
We adopt a two-stage training: Pretraining on Wav2Vec2 embeddeddings and finetuning on TTS outputs。
実験により、TS予測潜伏特性の条件付けはカスケードパイプラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-11-07T17:07:56Z) - VoiceCraft-Dub: Automated Video Dubbing with Neural Codec Language Models [43.1613638989795]
テキストと顔の手がかりから高品質な音声を合成する,ビデオダビングの自動化手法であるVoiceCraft-Dubを提案する。
この課題は、映画製作、マルチメディア制作、音声障害者支援に広く応用されている。
論文 参考訳（メタデータ） (2025-04-03T08:24:47Z) - SyncSpeech: Low-Latency and Efficient Dual-Stream Text-to-Speech based on Temporal Masked Transformer [68.78023656892319]
本稿では、ストリーミング音声を同時に生成しながら、上流モデルからストリーミングテキスト入力を受信できる、双方向ストリームテキスト音声(TTS)モデルSyncSpeechを提案する。
SyncSpeechには次のような利点がある: 低レイテンシ、第2のテキストトークンの受信時にストリーミング音声を生成し始めるとき、高効率、そして、受信したテキストトークンに対応するすべての音声トークンを1ステップでデコードするとき、。
論文 参考訳（メタデータ） (2025-02-16T12:14:17Z) - TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。
本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。
フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2024-05-28T04:11:37Z) - Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。
このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。
また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
論文 参考訳（メタデータ） (2024-01-29T18:59:55Z) - More than Words: In-the-Wild Visually-Driven Prosody for Text-to-Speech [9.035846000646481]
ダビングによって動機づけられたVDTTSは、テキストとともに追加入力としてビデオフレームを利用する。
我々は、VDTTSが自然停止やピッチのような韻律的変化を持つだけでなく、入力ビデオと同期する音声を生成することができることを示す。
論文 参考訳（メタデータ） (2021-11-19T10:23:38Z) - Neural Dubber: Dubbing for Silent Videos According to Scripts [22.814626504851752]
本稿では,新しい自動ビデオダビング(AVD)タスクを解決するニューラルネットワークモデルであるNeural Dubberを提案する。
Neural Dubberは、ビデオ中の唇の動きを利用して生成された音声の韻律を制御するマルチモーダルテキスト音声モデルである。
実験により、ニューラルダバーはビデオによって合成音声の韻律を制御でき、ビデオと時間的に同期した高忠実度音声を生成する。
論文 参考訳（メタデータ） (2021-10-15T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。