論文の概要: Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space

• arxiv url: http://arxiv.org/abs/2308.06076v1
• Date: Fri, 11 Aug 2023 11:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 14:15:15.182706
• Title: Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space
• Title（参考訳）: 多様な顔アニメーター:任意の3d顔アバターをrgbd空間で駆動する
• Authors: Haoyu Wang, Haozhe Wu, Junliang Xing, Jia Jia
• Abstract要約: 本稿では,顔の動きを終末的にキャプチャーと組み合わせたVersatile Face Animatorを提案する。 1) 階層的な動き辞書を用いて生のRGBDビデオから顔の動きを学習し, 任意の3D文字で表情をアニメーションできるRGBDアニメーションモジュールを提案する。 総合的な実験により,提案手法が印象的な3次元顔画像生成に有効であることを実証した。
• 参考スコア（独自算出の注目度）: 38.940128217895115
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Creating realistic 3D facial animation is crucial for various applications in the movie production and gaming industry, especially with the burgeoning demand in the metaverse. However, prevalent methods such as blendshape-based approaches and facial rigging techniques are time-consuming, labor-intensive, and lack standardized configurations, making facial animation production challenging and costly. In this paper, we propose a novel self-supervised framework, Versatile Face Animator, which combines facial motion capture with motion retargeting in an end-to-end manner, eliminating the need for blendshapes or rigs. Our method has the following two main characteristics: 1) we propose an RGBD animation module to learn facial motion from raw RGBD videos by hierarchical motion dictionaries and animate RGBD images rendered from 3D facial mesh coarse-to-fine, enabling facial animation on arbitrary 3D characters regardless of their topology, textures, blendshapes, and rigs; and 2) we introduce a mesh retarget module to utilize RGBD animation to create 3D facial animation by manipulating facial mesh with controller transformations, which are estimated from dense optical flow fields and blended together with geodesic-distance-based weights. Comprehensive experiments demonstrate the effectiveness of our proposed framework in generating impressive 3D facial animation results, highlighting its potential as a promising solution for the cost-effective and efficient production of facial animation in the metaverse.
• Abstract（参考訳）: リアルな3d顔アニメーションを作ることは、映画製作やゲーム業界、特にメタバースの需要が急増する中、様々な応用に不可欠である。 しかし、ブレンドシェイプベースのアプローチや顔のリギング技術のような一般的な手法は、時間消費、労働集約性、標準化された構成の欠如であり、顔アニメーションの制作が困難で費用がかかる。 本稿では,顔の動きのキャプチャと動きのリターゲティングをエンドツーエンドに組み合わせ,ブレンドシャッペやリグの必要性を解消する,新たな自己監督型顔アニメーターであるVersatile Face Animatorを提案する。 提案手法の主な特徴は以下の2つである。 1)階層的モーション辞書による生のrgbd動画から顔の動きを学習するrgbdアニメーションモジュールと,3d顔メッシュから粗い3d画像を生成するアニメートrgbd画像を提案し,そのトポロジー,テクスチャ,ブレンド形状,リグによらず任意の3dキャラクタで顔アニメーションを実現する。 2)RGBDアニメーションを利用するメッシュリターゲットモジュールを導入し,高密度光流場から推定され,測地距離に基づく重みが組み合わされた顔メッシュをコントローラ変換で操作することで,3次元顔アニメーションを作成する。 包括的実験により,提案手法が印象的な3次元顔アニメーション生成に有効であることを実証し,メタバースにおける顔アニメーションのコスト効率と効率のよい生成に有望なソリューションとしての可能性を強調した。

関連論文リスト

• MMHead: Towards Fine-grained Multi-modal 3D Facial Animation [68.04052669266174]
  大規模なマルチモーダル3次元顔アニメーションデータセットMMHeadを構築した。 MMHeadは、49時間の3D顔の動きシーケンス、音声、リッチな階層的なテキストアノテーションで構成されている。 MMHeadデータセットに基づいて,テキストによる3次元対話ヘッドアニメーションとテキストから3次元の顔の動き生成という,2つの新しいタスクのベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-10T09:37:01Z)
• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation [10.263762787854862]
  本稿では,ビデオ拡散モデルから抽出した動きに基づいて,様々な3次元形状の自動アニメーションを行う手法を提案する。 既存のコンピュータグラフィックスパイプラインと互換性のあるメッシュベースの明示的な表現を活用します。 我々の時間効率ゼロショット法は,多種多様な3次元形状を再アニメーションする優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T15:30:38Z)
• Bring Your Own Character: A Holistic Solution for Automatic Facial Animation Generation of Customized Characters [24.615066741391125]
  仮想顔を自動的にアニメーションする総合的なソリューションを提案する。 深層学習モデルはまず、入力された顔画像から仮想人間の顔への表情の再ターゲティングを訓練した。 Unity 3Dを使った実用的なツールキットが開発され、最も人気のあるVRアプリケーションと互換性がある。
  論文  参考訳（メタデータ） (2024-02-21T11:35:20Z)
• DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with Diffusion [68.85904927374165]
  拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。 拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。 最先端の手法よりもリアルな顔アニメーションを同時に実現します。
  論文  参考訳（メタデータ） (2023-08-23T04:14:55Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。