論文の概要: Faces that Speak: Jointly Synthesising Talking Face and Speech from Text
- arxiv url: http://arxiv.org/abs/2405.10272v1
- Date: Thu, 16 May 2024 17:29:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 13:33:15.783788
- Title: Faces that Speak: Jointly Synthesising Talking Face and Speech from Text
- Title（参考訳）: 話す顔:テキストから話す顔と音声を共同で合成する
- Authors: Youngjoon Jang, Ji-Hoon Kim, Junseok Ahn, Doyeop Kwak, Hong-Sun Yang, Yoon-Cheol Ju, Il-Hwan Kim, Byeong-Yeol Kim, Joon Son Chung,
- Abstract要約: 本研究では,TFG (Talking Face Generation) とTTS (Text-to-Speech) システムを統合されたフレームワークに統合することで実現した。
課題は,(1)実世界のシナリオを表わす一連の頭部ポーズを生成すること,(2)同一人物の顔の動きの変化に拘わらず,声の一貫性を確保すること,である。
実験により,本手法は,入力テキストと正確に一致した自然な表情と音声を効果的に生成できることが実証された。
- 参考スコア（独自算出の注目度）: 22.87082439322244
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The goal of this work is to simultaneously generate natural talking faces and speech outputs from text. We achieve this by integrating Talking Face Generation (TFG) and Text-to-Speech (TTS) systems into a unified framework. We address the main challenges of each task: (1) generating a range of head poses representative of real-world scenarios, and (2) ensuring voice consistency despite variations in facial motion for the same identity. To tackle these issues, we introduce a motion sampler based on conditional flow matching, which is capable of high-quality motion code generation in an efficient way. Moreover, we introduce a novel conditioning method for the TTS system, which utilises motion-removed features from the TFG model to yield uniform speech outputs. Our extensive experiments demonstrate that our method effectively creates natural-looking talking faces and speech that accurately match the input text. To our knowledge, this is the first effort to build a multimodal synthesis system that can generalise to unseen identities.
- Abstract（参考訳）: 本研究の目的は、テキストから自然な音声と音声の出力を同時に生成することである。
本研究では,TFG (Talking Face Generation) とTTS (Text-to-Speech) システムを統合されたフレームワークに統合することで実現した。
課題は,(1)実世界のシナリオを表わす一連の頭部ポーズを生成すること,(2)同一人物の顔の動きの変化に拘わらず,声の一貫性を確保すること,である。
これらの問題に対処するために,条件付きフローマッチングに基づくモーションサンプリングを導入し,高品質なモーションコード生成を効率よく実現した。
さらに、TFGモデルから運動除去された特徴を利用して一様音声出力を出力するTSシステムの新しい条件付け手法を提案する。
提案手法は,入力テキストと正確に一致した自然な表情と音声を効果的に生成することを示す。
我々の知る限りでは、これは未確認のアイデンティティに一般化できるマルチモーダル合成システムを構築するための最初の試みである。
関連論文リスト
- Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。
提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
論文 参考訳（メタデータ） (2024-06-26T04:53:11Z) - AVI-Talking: Learning Audio-Visual Instructions for Expressive 3D
Talking Face Generation [28.71632683090641]
本稿では,表情生成のための音声・視覚指導システムを提案する。
人間の音声から直接顔の動きを学習する代わりに、私たちの2段階の戦略はLLMが最初に音声情報を解釈することを含む。
この2段階のプロセスは、LLMの組み込みと組み合わせて、モデルの解釈可能性を高め、ユーザーに命令を理解する柔軟性を提供する。
論文 参考訳（メタデータ） (2024-02-25T15:51:05Z) - Realistic Speech-to-Face Generation with Speech-Conditioned Latent
Diffusion Model with Face Prior [13.198105709331617]
本稿では,SCLDMと呼ばれる音声合成遅延拡散モデルを利用した音声合成フレームワークを提案する。
これは、音声対面生成のための拡散モデルの例外的モデリング機能を利用する最初の試みである。
提案手法は,最先端の手法よりも話者のアイデンティティを保ちながら,よりリアルな顔画像を生成することができることを示す。
論文 参考訳（メタデータ） (2023-10-05T07:44:49Z) - SpeechX: Neural Codec Language Model as a Versatile Speech Transformer [57.82364057872905]
SpeechX は、ゼロショット TTS と様々な音声変換タスクが可能な汎用音声生成モデルである。
実験結果から, ゼロショットTS, ノイズ抑制, ターゲット話者抽出, 音声除去, 背景雑音の有無による音声編集など, 各種タスクにおけるSpeechXの有効性が示された。
論文 参考訳（メタデータ） (2023-08-14T01:01:19Z) - Visual-Aware Text-to-Speech [101.89332968344102]
テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。
音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
論文 参考訳（メタデータ） (2023-06-21T05:11:39Z) - Ada-TTA: Towards Adaptive High-Quality Text-to-Talking Avatar Synthesis [66.43223397997559]
入力テキストに対応する高品質な音声ポートレート映像を合成することを目的としている。
この課題は、デジタルヒューマン産業における幅広い応用の見通しを持っているが、まだ技術的には達成されていない。
本稿では,Ada-TTA(Adaptive Text-to-Talking Avatar)を提案する。
論文 参考訳（メタデータ） (2023-06-06T08:50:13Z) - VioLA: Unified Codec Language Models for Speech Recognition, Synthesis,
and Translation [91.39949385661379]
VioLAは1つの自動回帰トランスフォーマーデコーダのみのネットワークで、音声とテキストを含む様々なモーダルタスクを統合する。
まず、オフラインのニューラルエンコーダを用いて、全ての発話を個別のトークンに変換する。
さらに,タスクID(TID)と言語ID(LID)をモデルに統合し,異なる言語やタスクを扱うモデリング能力を向上させる。
論文 参考訳（メタデータ） (2023-05-25T14:39:47Z) - UniFLG: Unified Facial Landmark Generator from Text or Speech [5.405714165225471]
本稿では,話し顔生成のための統一顔ランドマーク生成器 (UniFLG) を提案する。
提案システムは、エンドツーエンドのテキスト音声を利用して、ランドマークデコーダにフィードし、顔のランドマークを生成する。
提案システムは,顔画像データや音声データなしに,話者の音声から顔のランドマークを生成できることを実証する。
論文 参考訳（メタデータ） (2023-02-28T06:05:43Z) - GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain
Text-to-Speech Synthesis [68.42632589736881]
本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。
GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。
ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
論文 参考訳（メタデータ） (2022-05-15T08:16:02Z) - AnyoneNet: Synchronized Speech and Talking Head Generation for Arbitrary
Person [21.126759304401627]
本稿では,テキストと任意の人物の顔画像を入力として,同期音声とトーキングヘッド映像を自動生成する手法を提案する。
実験の結果,提案手法は任意の人や非人に対して,同期音声と音声のヘッドビデオを生成することができることがわかった。
論文 参考訳（メタデータ） (2021-08-09T19:58:38Z) - Generating coherent spontaneous speech and gesture from text [21.90157862281996]
人体コミュニケーションは、言語情報(音声)と非言語情報(ジェスチャーや頭の動きなど)の両方を含む
機械学習の最近の進歩は、これらのデータの両方の合成バージョンを生成する技術を大幅に改善した。
私たちはこの2つの最先端技術を初めてコヒーレントな方法で組み合わせました。
論文 参考訳（メタデータ） (2021-01-14T16:02:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。