論文の概要: High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors

• arxiv url: http://arxiv.org/abs/2211.15064v1
• Date: Mon, 28 Nov 2022 04:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 18:40:01.352093
• Title: High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors
• Title（参考訳）: 単眼ビデオからの高忠実度顔面アバター再構成
• Authors: Yunpeng Bai, Yanbo Fan, Xuan Wang, Yong Zhang, Jingxiang Sun, Chun Yuan, Ying Shan
• Abstract要約: そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。 既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
• 参考スコア（独自算出の注目度）: 29.293166730794606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-fidelity facial avatar reconstruction from a monocular video is a significant research problem in computer graphics and computer vision. Recently, Neural Radiance Field (NeRF) has shown impressive novel view rendering results and has been considered for facial avatar reconstruction. However, the complex facial dynamics and missing 3D information in monocular videos raise significant challenges for faithful facial reconstruction. In this work, we propose a new method for NeRF-based facial avatar reconstruction that utilizes 3D-aware generative prior. Different from existing works that depend on a conditional deformation field for dynamic modeling, we propose to learn a personalized generative prior, which is formulated as a local and low dimensional subspace in the latent space of 3D-GAN. We propose an efficient method to construct the personalized generative prior based on a small set of facial images of a given individual. After learning, it allows for photo-realistic rendering with novel views and the face reenactment can be realized by performing navigation in the latent space. Our proposed method is applicable for different driven signals, including RGB images, 3DMM coefficients, and audios. Compared with existing works, we obtain superior novel view synthesis results and faithfully face reenactment performance.
• Abstract（参考訳）: 単眼映像からの高忠実な顔のアバター再構成は、コンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題である。 近年,Neural Radiance Field (NeRF) は目覚しいビューレンダリング結果を示しており,顔アバターの再構成も検討されている。 しかし、単眼ビデオにおける複雑な顔のダイナミクスと3D情報の欠如は、忠実な顔の再構築に重大な課題をもたらす。 そこで本研究では,3次元認識を用いた顔アバター再構成手法を提案する。 動的モデリングのための条件付き変形場に依存する既存の作品とは異なり、3d-ganの潜在空間における局所および低次元部分空間として定式化されたパーソナライズされた生成前置法を学習することを提案する。 そこで本稿では,特定の人物の顔画像の小さなセットに基づいて,パーソナライズされた生成前を効率的に構築する方法を提案する。 学習後、新しいビューによるフォトリアリスティックなレンダリングが可能となり、潜在空間でナビゲーションを行うことで、顔再現を実現することができる。 提案手法は,RGB画像,3DMM係数,オーディオなど,異なる駆動信号に適用可能である。 既存の作品と比較して優れた新規視点合成結果と忠実に対面再現性能が得られる。

関連論文リスト

• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• NOFA: NeRF-based One-shot Facial Avatar Reconstruction [45.11455702291703]
  3次元顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題となっている。 本研究では,高忠実度3次元顔アバターを再構成するために,単一の音源画像のみを必要とするワンショット3次元顔アバター再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-07T07:58:18Z)
• NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images [18.489290898059462]
  本稿では,新しい3次元顔レンダリングモデルであるNeuFaceを提案し,その基礎となる3次元表現の正確かつ物理的意味を学習する。 BRDFと簡易な低ランク前処理を導入し,両面のあいまいさを効果的に低減し,顔のBRDFの性能を向上させる。
  論文  参考訳（メタデータ） (2023-03-24T15:57:39Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。