論文の概要: X-Dubbing: Speech-to-Speech Translation under Temporal and Visual Constraints

• arxiv url: http://arxiv.org/abs/2610.32042v1
• Date: Fri, 23 Oct 2026 01:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.318551
• Title: X-Dubbing: Speech-to-Speech Translation under Temporal and Visual Constraints
• Title（参考訳）: X-Dubbing: 時間的・視覚的制約下での音声から音声への翻訳
• Abstract要約: 言語間ダビングは、元の音声を元のビデオと同期したままのターゲット言語音声に変換することを目的としている。 本稿では,X-Dubbingを提案し,そのタスクを時間対応音声テキスト翻訳とビデオ対応音声音声合成の連立問題として定式化する。 X-Dubbingは、アイソクロニーやオーディオ-視覚対応など、さまざまな指標で、最近のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 44.60692181533412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual dubbing aims to convert source speech into target-language speech that remains synchronized with the original video. The key to this task is to produce a faithful translation that is naturally speakable within the source timing, which is non-trivial because languages differ in duration, rhythm, and articulation. In this paper, we propose X-Dubbing, which formulates the task as a joint problem of time-aware speech-to-text translation and video-aware text-to-speech. Specifically, our method consists of a Dubbing Translator that generates temporally structured scripts and a Voice Actor that renders them in synchrony with the source video, both grounded in a language-agnostic timing budget. We further refine the translator with dubbing-aware feedback from the synthesized speech, encouraging scripts that yield well-synchronized dubbing. This design requires no paired dubbing data, as the two components are trained on speech-text and monolingual audio-visual data respectively. Extensive experiments show that X-Dubbing outperforms recent baselines across diverse metrics, including isochrony and audio-visual correspondence.
• Abstract（参考訳）: 言語間ダビングは、元の音声を元のビデオと同期したままのターゲット言語音声に変換することを目的としている。 この課題の鍵は、言語が持続時間、リズム、調音で異なるため、ソースタイミング内で自然に話すことができる忠実な翻訳を作ることである。 本稿では,時間認識型音声テキスト翻訳とビデオ認識型音声音声合成の連立問題として,タスクを定式化するX-Dubbingを提案する。 具体的には、時間的に構造化されたスクリプトを生成するDubing Translatorと、言語に依存しないタイミング予算で、ソースビデオと同期してレンダリングするVoice Actorで構成されている。 さらに、合成音声からのダビングを意識したフィードバックで翻訳装置をさらに洗練し、適切に同期されたダビングを生成するスクリプトを奨励する。 この設計では、2つのコンポーネントがそれぞれ音声・テキスト・モノリンガル・オーディオ・ビジュアルデータに基づいて訓練されているため、ペア化ダビングデータを必要としない。 大規模な実験により、X-Dubbingは、アイソクロニーやオーディオ-視覚対応など、様々な指標で、最近のベースラインを上回ります。

関連論文リスト

• PS-TTS: Phonetic Synchronization in Text-to-Speech for Achieving Natural Automated Dubbing [2.374660957323975]
  本稿では,翻訳テキストをパラフレーズ化するADプロセスの同期手法を提案する。 我々は、翻訳されたテキストを言語モデルで表現することで、アイソクロニーを実現する。 第2に、トレーニングデータから測定した母音距離の局所的なコストで動的時間ワープ(DTW)を利用するPSを導入し、ターゲットテキストが原母音に似た発音で母音を構成するようにした。 第三に、このアプローチをPSCometに拡張し、意味を良く保つために意味的および音声的類似性を共同で検討する。
  論文  参考訳（メタデータ） (2026-04-10T08:42:45Z)
• SyncVoice: Towards Video Dubbing with Vision-Augmented Pretrained TTS Model [34.874153953305346]
  ビデオダビングは、視覚内容と時間的に正確に一致した高忠実度音声を生成することを目的としている。 既存の手法は、音声の自然さと音声と視覚の同期の限界に悩まされている。 我々は、事前訓練されたテキスト音声(TTS)モデルに基づいて構築された、ヴィジュアライズされたビデオダビングフレームワークSyncVoiceを提案する。
  論文  参考訳（メタデータ） (2025-11-23T16:51:05Z)
• Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing [15.134076873312809]
  言語間ダビングシステムは、継続時間、話者識別、発話速度といった重要な特徴を保ちながら、ある言語から別の言語に音声を翻訳する。 本稿では,時間順変換が可能な時間長制御付き離散拡散に基づく音声-単位間翻訳モデルを提案する。 次に,予測単位とソースの同一性に基づいて,条件付きフローマッチングモデルを用いて音声を合成する。
  論文  参考訳（メタデータ） (2025-05-27T08:43:28Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing [71.02335065794384]
  生成した翻訳の翻訳時間と発話時間を直接最適化するモデルを提案する。 本システムでは,システムアーキテクチャを簡素化しつつ,前処理よりも発話のタイミングによく適合する音声を生成する。
  論文  参考訳（メタデータ） (2023-02-25T04:23:25Z)
• VideoDubber: Machine Translation with Speech-Aware Length Control for Video Dubbing [73.56970726406274]
  ビデオダビングは、映画やテレビ番組のオリジナルスピーチをターゲット言語の音声に変換することを目的としている。 翻訳された音声が対応するビデオと適切に一致するようにするためには、翻訳された音声の長さ/順を元の音声にできるだけ近づけるべきである。 本稿では,ビデオダビング作業に適した機械翻訳システムを提案する。
  論文  参考訳（メタデータ） (2022-11-30T12:09:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。