論文の概要: NeRFFaceSpeech: One-shot Audio-diven 3D Talking Head Synthesis via Generative Prior

• arxiv url: http://arxiv.org/abs/2405.05749v1
• Date: Thu, 9 May 2024 13:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 13:23:01.110525
• Title: NeRFFaceSpeech: One-shot Audio-diven 3D Talking Head Synthesis via Generative Prior
• Title（参考訳）: NeRFFaceSpeech:1ショットの3次元音声対話ヘッド合成
• Authors: Gihoon Kim, Kwanggyoon Seo, Sihun Cha, Junyong Noh,
• Abstract要約: 高品質な3D対応音声ヘッドを作成できる新しい方法NeRFFaceSpeechを提案する。 本手法では,1枚の画像に対応する3次元顔特徴空間を作成できる。 また,リパインネットを導入し,その情報不足を補う。
• 参考スコア（独自算出の注目度）: 5.819784482811377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-driven talking head generation is advancing from 2D to 3D content. Notably, Neural Radiance Field (NeRF) is in the spotlight as a means to synthesize high-quality 3D talking head outputs. Unfortunately, this NeRF-based approach typically requires a large number of paired audio-visual data for each identity, thereby limiting the scalability of the method. Although there have been attempts to generate audio-driven 3D talking head animations with a single image, the results are often unsatisfactory due to insufficient information on obscured regions in the image. In this paper, we mainly focus on addressing the overlooked aspect of 3D consistency in the one-shot, audio-driven domain, where facial animations are synthesized primarily in front-facing perspectives. We propose a novel method, NeRFFaceSpeech, which enables to produce high-quality 3D-aware talking head. Using prior knowledge of generative models combined with NeRF, our method can craft a 3D-consistent facial feature space corresponding to a single image. Our spatial synchronization method employs audio-correlated vertex dynamics of a parametric face model to transform static image features into dynamic visuals through ray deformation, ensuring realistic 3D facial motion. Moreover, we introduce LipaintNet that can replenish the lacking information in the inner-mouth area, which can not be obtained from a given single image. The network is trained in a self-supervised manner by utilizing the generative capabilities without additional data. The comprehensive experiments demonstrate the superiority of our method in generating audio-driven talking heads from a single image with enhanced 3D consistency compared to previous approaches. In addition, we introduce a quantitative way of measuring the robustness of a model against pose changes for the first time, which has been possible only qualitatively.
• Abstract（参考訳）: 音声駆動音声ヘッド生成は2Dコンテンツから3Dコンテンツへと進歩している。 特に、高品質な3D音声ヘッド出力を合成する手段として、NeRF(Neural Radiance Field)が注目されている。 残念なことに、このNeRFベースのアプローチは、通常、個々のアイデンティティに対して多数のペアのオーディオ視覚データを必要とするため、メソッドのスケーラビリティが制限される。 音声駆動の3D音声ヘッドアニメーションを1つの画像で生成する試みはあったが、画像内の不明瞭な領域に関する情報が不足しているため、しばしば不満足である。 本稿では,顔のアニメーションを主に正面の視点で合成するワンショット音声駆動領域における3D一貫性の見落とされがちな側面に焦点をあてる。 高品質な3D対応音声ヘッドを作成できる新しい方法NeRFFaceSpeechを提案する。 提案手法は,NeRFと組み合わせた生成モデルの事前知識を用いて,単一画像に対応する3次元顔特徴空間を作成できる。 空間同期法では、パラメトリック顔モデルの音声関連頂点ダイナミクスを用いて、静止画像の特徴を動的視覚に変換し、リアルな3次元顔の動きを確実にする。 さらに,1枚の画像からは得られない内耳領域の情報不足を補うことができるLipaintNetを導入する。 ネットワークは、追加データなしで生成能力を活用することにより、自己教師型で訓練される。 本研究では,従来の手法に比べて3次元の整合性を高めた単一画像から音声駆動音声ヘッドを生成する手法の優位性を実証した。 さらに,ポーズ変化に対するモデルのロバスト性を定量的に測定する方法を導入する。

関連論文リスト

• Talk3D: High-Fidelity Talking Portrait Synthesis via Personalized 3D Generative Prior [29.120669908374424]
  本研究では,Talk3Dと呼ばれる新しい音声駆動音声ヘッド合成フレームワークを提案する。 予め訓練された3D認識生成前を効果的に活用することにより、そのもっともらしい顔のジオメトリを忠実に再構築することができる。 提案手法は,既存の手法と比較して,極端な頭部ポーズ下であっても,現実的な顔のジオメトリーの生成に優れる。
  論文  参考訳（メタデータ） (2024-03-29T12:49:40Z)
• Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis [88.17520303867099]
  ワンショットの3Dトーキングポートレート生成は、目に見えない画像から3Dアバターを再構成し、参照ビデオやオーディオでアニメーション化する。 本稿では,大規模な画像-平面モデルを用いて,ワンショット3D再構成能力を向上させるフレームワークであるReal3D-Potraitを提案する。 実験の結果、Real3D-Portraitは目に見えない人物を一般化し、よりリアルなトーキング・ポートレート・ビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2024-01-16T17:04:30Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• Audio-Driven 3D Facial Animation from In-the-Wild Videos [16.76533748243908]
  任意のオーディオクリップが与えられたとき、オーディオ駆動の3D顔アニメーションは、ライフスタイルの唇の動きと3Dヘッドのための表情を生成することを目的としている。 既存の方法は、通常、限られた数のオーディオ3Dスキャンペアを含む限られたパブリックな3Dデータセットを使用してモデルをトレーニングすることに依存する。 そこで本研究では,3次元顔アニメーションモデルをトレーニングするために,この2次元対話ヘッドビデオを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-20T13:53:05Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis [62.297513028116576]
  GeneFace は、汎用的で高忠実な NeRF ベースの話し顔生成法である。 ヘッド・トルソ問題を解消するために,ヘッド・アウェア・トルソ・NeRFを提案する。
  論文  参考訳（メタデータ） (2023-01-31T05:56:06Z)
• Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition [61.6677901687009]
  我々は,音声画像のリアルタイム合成を可能にする,効率的なNeRFベースのフレームワークを提案する。 提案手法は,リアルタイム・オーディオ・リップ同期音声ポートレートビデオを生成する。
  論文  参考訳（メタデータ） (2022-11-22T16:03:11Z)
• AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis [55.24336227884039]
  高忠実な会話ヘッドビデオを生成するための新しいフレームワークを紹介します。 音声入力と映像出力のギャップを埋めるために,ニューラルシーン表現ネットワークを用いる。 本フレームワークは,(1)高い忠実度と自然な結果を生み出すことができ,(2)音声信号,視線方向,背景画像の自由な調整をサポートする。
  論文  参考訳（メタデータ） (2021-03-20T02:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。