論文の概要: DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding

• arxiv url: http://arxiv.org/abs/2308.07787v1
• Date: Tue, 15 Aug 2023 14:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 12:28:56.699954
• Title: DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding
• Title（参考訳）: DiffV2S:視覚誘導型話者埋め込みを用いた拡散型音声合成
• Authors: Jeongsoo Choi, Joanna Hong, Yong Man Ro
• Abstract要約: 自己教師付き事前学習モデルと即時チューニング技術を用いた視覚誘導型話者埋め込み抽出器を提案する。 さらに,DiffV2Sと呼ばれる拡散型音声合成モデルを開発し,これらの話者埋め込みと入力ビデオから抽出した視覚表現を条件とした。 実験結果から,DiffV2Sは従来の音声合成技術と比較して最先端性能を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 52.84475402151201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has demonstrated impressive results in video-to-speech synthesis which involves reconstructing speech solely from visual input. However, previous works have struggled to accurately synthesize speech due to a lack of sufficient guidance for the model to infer the correct content with the appropriate sound. To resolve the issue, they have adopted an extra speaker embedding as a speaking style guidance from a reference auditory information. Nevertheless, it is not always possible to obtain the audio information from the corresponding video input, especially during the inference time. In this paper, we present a novel vision-guided speaker embedding extractor using a self-supervised pre-trained model and prompt tuning technique. In doing so, the rich speaker embedding information can be produced solely from input visual information, and the extra audio information is not necessary during the inference time. Using the extracted vision-guided speaker embedding representations, we further develop a diffusion-based video-to-speech synthesis model, so called DiffV2S, conditioned on those speaker embeddings and the visual representation extracted from the input video. The proposed DiffV2S not only maintains phoneme details contained in the input video frames, but also creates a highly intelligible mel-spectrogram in which the speaker identities of the multiple speakers are all preserved. Our experimental results show that DiffV2S achieves the state-of-the-art performance compared to the previous video-to-speech synthesis technique.
• Abstract（参考訳）: 近年の研究では、音声のみを視覚入力から再構成するビデオ音声合成の顕著な成果が示されている。 しかし、モデルが適切な音で正しい内容を推測するための十分なガイダンスが欠如しているため、以前の作品では正確な音声合成に苦慮している。 この問題を解決するために、彼らは参照聴覚情報から話し方指導として追加の話者埋め込みを採用した。 それでも、特に推論時間において、対応するビデオ入力からオーディオ情報を取得することは必ずしも不可能ではない。 本稿では,自己教師付き事前学習モデルと即時チューニング技術を用いた視覚誘導型話者埋め込み抽出器を提案する。 これにより、入力された視覚情報のみからリッチな話者埋め込み情報を生成することができ、その推論中に余分な音声情報は不要となる。 抽出した視覚誘導型話者埋め込み表現を用いて,DiffV2Sと呼ばれる拡散に基づく音声合成モデルを構築し,これらの話者埋め込みと入力ビデオから抽出した視覚表現を条件とした。 提案するdiffv2は、入力されたビデオフレームに含まれる音素の詳細を保持するだけでなく、複数の話者の話者識別がすべて保存される高度に理解可能なメル・スペクトログラムを生成する。 実験結果から,DiffV2Sは従来の音声合成技術と比較して最先端性能を実現していることがわかった。

関連論文リスト

• Audio-visual video-to-speech synthesis with synthesized input audio [64.86087257004883]
  トレーニングと推論における音声合成におけるビデオ入力と音声入力の併用効果について検討する。 特に、事前学習したビデオ音声合成モデルを用いて、欠落した音声信号を合成し、サイレントビデオと合成音声の両方を入力として、音声音声合成モデルを訓練し、最終的な再構成音声を予測する。
  論文  参考訳（メタデータ） (2023-07-31T11:39:05Z)
• Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models [64.14812728562596]
  本稿では,事前学習した音声駆動音声合成モデルをテキスト駆動で動作させる手法を提案する。 提供されたテキスト文を記述した顔ビデオを簡単に生成できる。
  論文  参考訳（メタデータ） (2023-06-28T08:22:53Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• Speech inpainting: Context-based speech synthesis guided by video [29.233167442719676]
  本稿では,音声セグメントにおける音声合成の課題である音声-視覚音声の塗装問題に焦点をあてる。 本稿では,視覚的手がかりを生かし,劣化した音声の内容に関する情報を提供する音声-視覚変換器を用いた深層学習モデルを提案する。 また,音声認識のための大規模音声・視覚変換器であるAV-HuBERTで抽出した視覚的特徴が,音声合成にどのように適しているかを示す。
  論文  参考訳（メタデータ） (2023-06-01T09:40:47Z)
• SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
  本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。 私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
  論文  参考訳（メタデータ） (2022-05-04T13:34:07Z)
• Vocoder-Based Speech Synthesis from Silent Videos [28.94460283719776]
  深層学習を用いた話し手のサイレントビデオから音声を合成する方法を提案する。 システムは生のビデオフレームから音響特徴へのマッピング関数を学習し、ボコーダ合成アルゴリズムを用いて音声を再構成する。
  論文  参考訳（メタデータ） (2020-04-06T10:22:04Z)
• Unsupervised Audiovisual Synthesis via Exemplar Autoencoders [59.13989658692953]
  我々は,任意の個人の入力音声を,潜在的に無限に多くの出力スピーカのオーディオ視覚ストリームに変換する教師なしのアプローチを提案する。 我々は、Exemplar Autoencodersを用いて、特定のターゲット音声の音声、スタイリスティックな韻律、視覚的外観を学習する。
  論文  参考訳（メタデータ） (2020-01-13T18:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。