論文の概要: VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic Voice Over

• arxiv url: http://arxiv.org/abs/2110.03342v2
• Date: Sat, 9 Oct 2021 12:03:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 11:12:31.588366
• Title: VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic Voice Over
• Title（参考訳）: VisualTTS: 自動音声オーバのための高精度リップ音声同期TTS
• Authors: Junchen Lu, Berrak Sisman, Rui Liu, Mingyang Zhang, Haizhou Li
• Abstract要約: AVO(Automatic Voice Over)と呼ばれるサイレント事前録音ビデオと同期して音声を合成する新しいタスクを定式化する。 AVOの自然な解決策は、ビデオ中のリップシーケンスの時間的進行に音声レンダリングを条件付けることである。 そこで本稿では,視覚入力を前提とした新しい音声合成モデルVisualTTSを提案する。
• 参考スコア（独自算出の注目度）: 68.22776506861872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we formulate a novel task to synthesize speech in sync with a silent pre-recorded video, denoted as automatic voice over (AVO). Unlike traditional speech synthesis, AVO seeks to generate not only human-sounding speech, but also perfect lip-speech synchronization. A natural solution to AVO is to condition the speech rendering on the temporal progression of lip sequence in the video. We propose a novel text-to-speech model that is conditioned on visual input, named VisualTTS, for accurate lip-speech synchronization. The proposed VisualTTS adopts two novel mechanisms that are 1) textual-visual attention, and 2) visual fusion strategy during acoustic decoding, which both contribute to forming accurate alignment between the input text content and lip motion in input lip sequence. Experimental results show that VisualTTS achieves accurate lip-speech synchronization and outperforms all baseline systems.
• Abstract（参考訳）: 本稿では,音声自動オーバー(AVO)と呼ばれるサイレント事前録音ビデオと同期して音声を合成する新しいタスクを定式化する。 従来の音声合成とは異なり、avoは人間の発声だけでなく完全な口唇同期も実現しようとしている。 AVOの自然な解決策は、ビデオ中のリップシーケンスの時間的進行に音声レンダリングを条件付けることである。 そこで本稿では,視覚入力を前提とした新しい音声合成モデルVisualTTSを提案する。 提案したVisualTTSは2つの新しいメカニズムを採用する。 1)テキスト・視覚的注意,及び 2) 音響復号における視覚融合戦略は, 入力テキストの内容と唇運動の正確な一致形成に寄与する。 実験の結果,VisualTTSは正確な唇音声同期を実現し,全てのベースラインシステムより優れていた。

関連論文リスト

• Towards Accurate Lip-to-Speech Synthesis in-the-Wild [31.289366690147556]
  そこで本研究では,唇の動きのみをベースとしたサイレントビデオから音声を合成する手法を提案する。 リップビデオから直接音声を生成する従来のアプローチは、音声だけで堅牢な言語モデルを学べないという課題に直面している。 我々は,我々のモデルに言語情報を注入する最先端のリップ・トゥ・テキスト・ネットワークを用いて,ノイズの多いテキスト管理を導入することを提案する。
  論文  参考訳（メタデータ） (2024-03-02T04:07:24Z)
• RobustL2S: Speaker-Specific Lip-to-Speech Synthesis exploiting Self-Supervised Representations [13.995231731152462]
  本稿では,Lip-to-Speech合成のためのモジュール化フレームワークRobustL2Sを提案する。 非自己回帰列列列モデルは、自己教師付き視覚特徴を非絡み合った音声内容の表現にマッピングする。 ボコーダは、音声特徴を生波形に変換する。
  論文  参考訳（メタデータ） (2023-07-03T09:13:57Z)
• High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units [69.06657692891447]
  本稿では,自己教師付き離散音声単位予測の学習目的を活用した新しいAVO手法を提案する。 実験結果から,提案手法は有意な唇音声同期と高音質を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-29T15:02:22Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation [58.72068260933836]
  コンテキスト対応LipSync-フレームワーク(CALS) CALSはAudio-to-LipマップモジュールとLip-to-Faceモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-05-31T04:50:32Z)
• Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert [89.07178484337865]
  音声合成は、コヒーレントな音声入力が与えられた唇に関する顔の動きを再構成する。 従来の研究では、唇音の同期と視覚的品質が重要であった。 そこで我々は, 唇読解の専門家を用いて, 生成した唇領域の知性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-29T07:51:07Z)
• ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement [40.29155338515071]
  ReVISEは、Wildビデオ音声合成のための最初の高品質なモデルである。 単一のモデルで全てのLRS3オーディオ視覚強調タスクにおいて優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-21T21:36:52Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。