論文の概要: Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video

• arxiv url: http://arxiv.org/abs/2309.04814v1
• Date: Sat, 9 Sep 2023 14:52:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 16:08:41.198956
• Title: Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video
• Title（参考訳）: Speech2Lip:短いビデオから学習した唇生成のための高忠実度音声
• Authors: Xiuzhe Wu, Pengfei Hu, Yang Wu, Xiaoyang Lyu, Yan-Pei Cao, Ying Shan, Wenming Yang, Zhongqian Sun, Xiaojuan Qi
• Abstract要約: 本稿では,音声の知覚と音声の知覚を両立させるSpeech2Lip(Speech2Lip)という分解合成フレームワークを提案する。 提案手法は,数分間のビデオで学習し,視覚的品質と音声・視覚的同期の両面において最先端のパフォーマンスを達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 91.92782707888618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing realistic videos according to a given speech is still an open challenge. Previous works have been plagued by issues such as inaccurate lip shape generation and poor image quality. The key reason is that only motions and appearances on limited facial areas (e.g., lip area) are mainly driven by the input speech. Therefore, directly learning a mapping function from speech to the entire head image is prone to ambiguity, particularly when using a short video for training. We thus propose a decomposition-synthesis-composition framework named Speech to Lip (Speech2Lip) that disentangles speech-sensitive and speech-insensitive motion/appearance to facilitate effective learning from limited training data, resulting in the generation of natural-looking videos. First, given a fixed head pose (i.e., canonical space), we present a speech-driven implicit model for lip image generation which concentrates on learning speech-sensitive motion and appearance. Next, to model the major speech-insensitive motion (i.e., head movement), we introduce a geometry-aware mutual explicit mapping (GAMEM) module that establishes geometric mappings between different head poses. This allows us to paste generated lip images at the canonical space onto head images with arbitrary poses and synthesize talking videos with natural head movements. In addition, a Blend-Net and a contrastive sync loss are introduced to enhance the overall synthesis performance. Quantitative and qualitative results on three benchmarks demonstrate that our model can be trained by a video of just a few minutes in length and achieve state-of-the-art performance in both visual quality and speech-visual synchronization. Code: https://github.com/CVMI-Lab/Speech2Lip.
• Abstract（参考訳）: 音声によるリアルなビデオの合成は、まだオープンな課題だ。 以前の作品は、不正確な唇形状の生成や画質の悪さといった問題に苦しめられている。 主な理由は、限られた顔領域(例えば唇領域)における動きと外観だけが主に入力音声によって駆動されるためである。 したがって、音声から頭部画像全体へのマッピング関数を直接学習することは、特に訓練に短いビデオを使用する場合、あいまいになりがちである。 そこで本研究では,音声に敏感な音声・無感な動き・出現を解消し,限られた学習データから効果的な学習を促進する分解合成合成フレームワークであるSpeech2Lipを提案する。 まず、固定された頭部ポーズ(例えば、標準空間)を与えられた場合、音声知覚運動と外観の学習に集中した唇画像生成のための音声駆動暗黙モデルを提案する。 次に,主要音声非感性動作(頭部運動)をモデル化するために,異なる頭部ポーズ間の幾何学的マッピングを確立する幾何認識相互明示的マッピング(GAMEM)モジュールを導入する。 これにより、生成された唇画像を任意のポーズで頭部画像に貼り付け、自然な頭部の動きで会話ビデオを合成することができる。 さらに、全体的な合成性能を高めるため、ブレンドネットとコントラスト同期損失を導入する。 3つのベンチマークの定量的および定性的な結果から、我々のモデルは、ほんの数分の動画で訓練でき、視覚的品質と音声視覚同期の両方で最先端のパフォーマンスを達成できることを示した。 コード:https://github.com/CVMI-Lab/Speech2Lip

関連論文リスト

• JEAN: Joint Expression and Audio-guided NeRF-based Talking Face Generation [24.2065254076207]
  共同表現と音声誘導による発話顔生成のための新しい手法を提案する。 提案手法は,高忠実度音声映像を合成し,最先端の表情伝達を実現する。
  論文  参考訳（メタデータ） (2024-09-18T17:18:13Z)
• PoseTalk: Text-and-Audio-based Pose Control and Motion Refinement for One-Shot Talking Head Generation [17.158581488104186]
  従来の音声駆動型音声ヘッド生成(THG)手法は、音声の駆動から頭部ポーズを生成する。 テキストプロンプトと音声に条件付の自由なポーズで、リップ同期音声ヘッドビデオを自由に生成できるTHGシステムである textbfPoseTalk を提案する。
  論文  参考訳（メタデータ） (2024-09-04T12:30:25Z)
• High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
  本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。 まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。 そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
  論文  参考訳（メタデータ） (2024-08-10T02:58:28Z)
• Learning to Dub Movies via Hierarchical Prosody Models [167.6465354313349]
  テキスト、ビデオクリップ、レファレンスオーディオが与えられたとき、映画ダビング(Visual Voice clone V2C)タスクは、所望の話者音声を参照としてビデオに提示された話者の感情にマッチした音声を生成することを目的としている。 本稿では,これらの問題に階層的韻律モデルを用いて対処する新しい映画ダビングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-08T03:29:04Z)
• Audio-Driven Co-Speech Gesture Video Generation [92.15661971086746]
  音声駆動型音声合成におけるこの課題を定義し,検討する。 私たちの重要な洞察は、共同音声ジェスチャーは共通の動きパターンと微妙なリズムダイナミクスに分解できるということです。 本稿では,再利用可能な音声のジェスチャーパターンを効果的に捉えるための新しいフレームワークであるAudio-driveN Gesture vIdeo gEneration(ANGIE)を提案する。
  論文  参考訳（メタデータ） (2022-12-05T15:28:22Z)
• A Novel Speech-Driven Lip-Sync Model with CNN and LSTM [12.747541089354538]
  可変長音声入力から3次元テンプレート顔モデルの変位を生成するために,一次元畳み込みとLSTMを組み合わせたディープニューラルネットワークを提案する。 異なる音声信号に対するネットワークのロバスト性を高めるために,訓練された音声認識モデルを適用して音声特徴を抽出する。 本モデルでは, 音声に同期したスムーズで自然な唇の動きを生成できることが示されている。
  論文  参考訳（メタデータ） (2022-05-02T13:57:50Z)
• FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning [23.14865405847467]
  本稿では,音声信号を入力とし,短いターゲット映像クリップを参照として,話し顔を生成する手法を提案する。 本発明の方法は、入力された音声信号と同期した自然な唇の動き、頭部ポーズ、および目の点滅で、対象の顔の写実的な映像を合成する。 実験結果とユーザスタディにより,本手法は,最先端の手法よりも優れた品質で,現実的な音声ビデオを生成することができることが示された。
  論文  参考訳（メタデータ） (2021-08-18T02:10:26Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)
• Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose [67.31838207805573]
  本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。 我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。 提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
  論文  参考訳（メタデータ） (2020-02-24T10:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。