論文の概要: MMFace4D: A Large-Scale Multi-Modal 4D Face Dataset for Audio-Driven 3D Face Animation

• arxiv url: http://arxiv.org/abs/2303.09797v2
• Date: Wed, 13 Dec 2023 11:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 21:02:44.401857
• Title: MMFace4D: A Large-Scale Multi-Modal 4D Face Dataset for Audio-Driven 3D Face Animation
• Title（参考訳）: MMFace4D:オーディオ駆動型3D顔アニメーションのための大規模マルチモーダル4D顔データセット
• Authors: Haozhe Wu, Jia Jia, Junliang Xing, Hongwei Xu, Xiangyuan Wang, Jelo Wang
• Abstract要約: MMFace4Dは431のアイデンティティ,35,904のシーケンス,390万フレームからなる大規模マルチモーダル4D(3D)顔データセットである。 MMFace4Dは、15歳から68歳までのアクターを包含し、0.7秒から11.4秒の文を記録できる、非常に多様な主題とコーパスのセットである。 我々は、音声駆動型3D顔アニメーションのための非自己回帰フレームワークを構築する。我々のフレームワークは、顔アニメーションの地域的・複合的性質を考察し、現代的最先端アプローチを質的に超越している。
• 参考スコア（独自算出の注目度）: 16.989858343787365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-Driven Face Animation is an eagerly anticipated technique for applications such as VR/AR, games, and movie making. With the rapid development of 3D engines, there is an increasing demand for driving 3D faces with audio. However, currently available 3D face animation datasets are either scale-limited or quality-unsatisfied, which hampers further developments of audio-driven 3D face animation. To address this challenge, we propose MMFace4D, a large-scale multi-modal 4D (3D sequence) face dataset consisting of 431 identities, 35,904 sequences, and 3.9 million frames. MMFace4D exhibits two compelling characteristics: 1) a remarkably diverse set of subjects and corpus, encompassing actors spanning ages 15 to 68, and recorded sentences with durations ranging from 0.7 to 11.4 seconds. 2) It features synchronized audio and 3D mesh sequences with high-resolution face details. To capture the subtle nuances of 3D facial expressions, we leverage three synchronized RGBD cameras during the recording process. Upon MMFace4D, we construct a non-autoregressive framework for audio-driven 3D face animation. Our framework considers the regional and composite natures of facial animations, and surpasses contemporary state-of-the-art approaches both qualitatively and quantitatively. The code, model, and dataset will be publicly available.
• Abstract（参考訳）: オーディオ駆動のフェイスアニメーションは、vr/ar、ゲーム、映画製作などのアプリケーションで期待されている技術だ。 3dエンジンの急速な開発により、オーディオによる3d顔の運転の需要が高まっている。 しかし、現在利用可能な3D顔アニメーションデータセットは、スケール制限または品質不満足である。 この課題に対処するために,431のアイデンティティ,35,904のシーケンス,390万フレームからなる大規模マルチモーダル4D顔データセットMMFace4Dを提案する。 MMFace4Dは2つの魅力的な特徴を示す。 1) 15歳から68歳までの俳優を包含し,0.7秒から11.4秒の連続で記録する,極めて多様な主題とコーパスの組。 2) 音声と3dメッシュの同期シーケンスと高精細な顔画像が特徴である。 3d表情の微妙なニュアンスを捉えるために、記録プロセス中に3つの同期rgbdカメラを利用する。 MMFace4Dでは,音声駆動型3D顔アニメーションのための非自己回帰フレームワークを構築する。 顔アニメーションの地域的・複合的性質を考察し,質的・定量的に,現代の最先端のアプローチを上回っている。 コード、モデル、データセットは公開される予定だ。

関連論文リスト

• MMHead: Towards Fine-grained Multi-modal 3D Facial Animation [68.04052669266174]
  大規模なマルチモーダル3次元顔アニメーションデータセットMMHeadを構築した。 MMHeadは、49時間の3D顔の動きシーケンス、音声、リッチな階層的なテキストアノテーションで構成されている。 MMHeadデータセットに基づいて,テキストによる3次元対話ヘッドアニメーションとテキストから3次元の顔の動き生成という,2つの新しいタスクのベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-10T09:37:01Z)
• Media2Face: Co-speech Facial Animation Generation With Multi-Modality Guidance [41.692420421029695]
  本稿では,顔の形状と画像を高一般化された表現潜在空間にマッピングする,効率的な変分自動エンコーダを提案する。 次に、GNPFAを用いて、多数のビデオから高品質な表現と正確な頭部ポーズを抽出する。 GNPFAラテント空間における拡散モデルMedia2Faceを提案する。
  論文  参考訳（メタデータ） (2024-01-28T16:17:59Z)
• Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis [88.17520303867099]
  ワンショットの3Dトーキングポートレート生成は、目に見えない画像から3Dアバターを再構成し、参照ビデオやオーディオでアニメーション化する。 本稿では,大規模な画像-平面モデルを用いて,ワンショット3D再構成能力を向上させるフレームワークであるReal3D-Potraitを提案する。 実験の結果、Real3D-Portraitは目に見えない人物を一般化し、よりリアルなトーキング・ポートレート・ビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2024-01-16T17:04:30Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• Audio-Driven 3D Facial Animation from In-the-Wild Videos [16.76533748243908]
  任意のオーディオクリップが与えられたとき、オーディオ駆動の3D顔アニメーションは、ライフスタイルの唇の動きと3Dヘッドのための表情を生成することを目的としている。 既存の方法は、通常、限られた数のオーディオ3Dスキャンペアを含む限られたパブリックな3Dデータセットを使用してモデルをトレーニングすることに依存する。 そこで本研究では,3次元顔アニメーションモデルをトレーニングするために,この2次元対話ヘッドビデオを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-20T13:53:05Z)
• AVFace: Towards Detailed Audio-Visual 4D Face Reconstruction [33.78412925549308]
  2次元画像からの3次元顔の再構成は、深さのあいまいさによる制約の少ない問題である。 両モードを組み込んだAVFaceを提案し、任意の話者の4次元顔と唇の動きを正確に再構成する。
  論文  参考訳（メタデータ） (2023-04-25T19:41:10Z)
• 3D-TalkEmo: Learning to Synthesize 3D Emotional Talking Head [13.305263646852087]
  3D-TalkEmoは、様々な感情を持つ3Dトークヘッドアニメーションを生成するディープニューラルネットワークです。 私たちはまた、オーディオとビデオの同期、豊富なコーパス、異なる人のさまざまな感情状態を含む大きな3dデータセットも作成します。
  論文  参考訳（メタデータ） (2021-04-25T02:48:19Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
  同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。 本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。 われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
  論文  参考訳（メタデータ） (2021-02-13T01:05:39Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。