論文の概要: Watch Your Speech: Text-aware Video-to-Speech Synthesis with Textual Conditioning

• arxiv url: http://arxiv.org/abs/2610.01012v1
• Date: Thu, 01 Oct 2026 03:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.88586
• Title: Watch Your Speech: Text-aware Video-to-Speech Synthesis with Textual Conditioning
• Title（参考訳）: テキスト・コンディショニングによる音声合成
• Abstract要約: ビデオ音声合成は、サイレントな音声合成ビデオから自然に聞こえる音声を生成することを目的としている。 視覚的あいまいさを軽減するために,テキスト条件付けを明示的な言語的キューとして組み込んだフレームワークであるWatch Your Speechを提案する。 LRS2とLSS3データセットの実験は、WYSが優れたパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 5.7265391149577605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-to-speech synthesis aims to generate natural-sounding speech from silent talking-face videos while ensuring phonetic accuracy. A fundamental challenge in this task is the inherent one-to-many mapping problem, where visual dynamics often lack sufficient information to uniquely determine the corresponding utterance. To address this, we propose Watch Your Speech (WYS), a video-to-speech synthesis framework that incorporates textual conditioning as an explicit linguistic cue to mitigate visual ambiguity. Our framework features an attention-based embedding fusion module that synergistically integrates textual context with video sequences, coupled with a conditional flow matching objective for high-fidelity speech generation. Extensive experiments on the LRS2 and LRS3 datasets demonstrate that WYS achieves superior performance, establishing new state-of-the-art results in audio-visual synchronization (LSE-C/D) while maintaining highly competitive textual accuracy (WER). Subjective evaluations further confirm that our model generates speech with near-human naturalness, validating the effectiveness of textual conditioning in content-controlled video-to-speech synthesis. Project page: https://github.com/gunwoo5034/Watch-your-Speech
• Abstract（参考訳）: 音声合成は、音声の精度を確保しつつ、無声音声から自然な音声を生成することを目的としている。 このタスクの根本的な課題は、視覚力学が対応する発話を一意に決定するのに十分な情報を持たない、本質的に1対1のマッピング問題である。 そこで本稿では,視覚的あいまいさを軽減するために,テキスト条件付けを明示的な言語的キューとして組み込んだビデオ音声合成フレームワークであるWatch Your Speech (WYS)を提案する。 本フレームワークは,テキストコンテキストとビデオシーケンスを相乗的に統合するアテンションベースの埋め込み融合モジュールと,高忠実度音声生成のための条件付きフローマッチング目的とを特徴とする。 LRS2 と LRS3 データセットの大規模な実験により、WYS は優れた性能を示し、高い競争力を持つテキスト精度(WER)を維持しながら、音声-視覚同期(LSE-C/D)の新たな最先端結果を確立した。 主観評価により,本モデルが人間に近い自然性を持つ音声を生成することが確認され,コンテンツ制御音声合成におけるテキスト条件付けの有効性が検証された。 プロジェクトページ:https://github.com/gunwoo5034/Watch-your-Speech

関連論文リスト

• UmbraTTS: Adapting Text-to-Speech to Environmental Contexts with Flow Matching [17.559310386487493]
  UmbraTTSは、音声と環境の両方を共同で生成するフローマッチングベースのTSモデルである。 本モデルでは,背景音量のきめ細かな制御が可能であり,多様な,一貫性のある,コンテキスト対応の音声シーンを生成できる。
  論文  参考訳（メタデータ） (2025-06-11T15:43:08Z)
• From Faces to Voices: Learning Hierarchical Representations for High-quality Video-to-Speech [26.67378997911053]
  本研究の目的は、サイレント・トーキング・フェイス・ビデオから高品質な音声を生成することである。 本稿では,サイレントビデオと多面音声のモダリティギャップを埋める新しい音声合成システムを提案する。 提案手法は,実発話に匹敵する例外的な生成品質を実現する。
  論文  参考訳（メタデータ） (2025-03-21T09:02:38Z)
• Cross-Utterance Conditioned VAE for Speech Generation [27.5887600344053]
  本稿では,CUC-VAE S2フレームワークを用いて,韻律の強化と自然な音声生成を実現する。 CUC-VAE TTS for text-to-speech と CUC-VAE SE for speech editor の2つの実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-08T06:48:41Z)
• ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading [65.88161811719353]
  本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。 まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。 我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。 実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-03T06:55:03Z)
• VisageSynTalk: Unseen Speaker Video-to-Speech Synthesis via Speech-Visage Feature Selection [32.65865343643458]
  近年の研究では、サイレント・トーキング・フェイス・ビデオから音声を合成する際の印象的な性能が示されている。 本稿では、音声コンテンツと話者識別を、入力ビデオの視覚的特徴から分離する音声視覚選択モジュールを提案する。 提案する枠組みは、未確認被写体の無声音声映像が付与された場合でも、適切な内容を含む音声を合成する利点をもたらす。
  論文  参考訳（メタデータ） (2022-06-15T11:29:58Z)
• SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
  本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。 私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
  論文  参考訳（メタデータ） (2022-05-04T13:34:07Z)
• VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic Voice Over [68.22776506861872]
  AVO(Automatic Voice Over)と呼ばれるサイレント事前録音ビデオと同期して音声を合成する新しいタスクを定式化する。 AVOの自然な解決策は、ビデオ中のリップシーケンスの時間的進行に音声レンダリングを条件付けることである。 そこで本稿では,視覚入力を前提とした新しい音声合成モデルVisualTTSを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:25:25Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。