論文の概要: NOFA: NeRF-based One-shot Facial Avatar Reconstruction

• arxiv url: http://arxiv.org/abs/2307.03441v1
• Date: Fri, 7 Jul 2023 07:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:10:43.517450
• Title: NOFA: NeRF-based One-shot Facial Avatar Reconstruction
• Title（参考訳）: NOFA : NeRFを用いた顔面アバター再建術
• Authors: Wangbo Yu, Yanbo Fan, Yong Zhang, Xuan Wang, Fei Yin, Yunpeng Bai, Yan-Pei Cao, Ying Shan, Yang Wu, Zhongqian Sun, Baoyuan Wu
• Abstract要約: 3次元顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題となっている。 本研究では,高忠実度3次元顔アバターを再構成するために,単一の音源画像のみを必要とするワンショット3次元顔アバター再構成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 45.11455702291703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D facial avatar reconstruction has been a significant research topic in computer graphics and computer vision, where photo-realistic rendering and flexible controls over poses and expressions are necessary for many related applications. Recently, its performance has been greatly improved with the development of neural radiance fields (NeRF). However, most existing NeRF-based facial avatars focus on subject-specific reconstruction and reenactment, requiring multi-shot images containing different views of the specific subject for training, and the learned model cannot generalize to new identities, limiting its further applications. In this work, we propose a one-shot 3D facial avatar reconstruction framework that only requires a single source image to reconstruct a high-fidelity 3D facial avatar. For the challenges of lacking generalization ability and missing multi-view information, we leverage the generative prior of 3D GAN and develop an efficient encoder-decoder network to reconstruct the canonical neural volume of the source image, and further propose a compensation network to complement facial details. To enable fine-grained control over facial dynamics, we propose a deformation field to warp the canonical volume into driven expressions. Through extensive experimental comparisons, we achieve superior synthesis results compared to several state-of-the-art methods.
• Abstract（参考訳）: 3D顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究テーマであり、多くの関連するアプリケーションにおいて、ポーズや表現に対する写真リアルなレンダリングと柔軟な制御が必要である。 近年,neural radiance fields (nerf) の開発により,その性能は大幅に向上している。 しかし、既存のNeRFベースの顔アバターは、訓練のために特定の対象の異なる視点を含むマルチショット画像を必要とするため、新たなアイデンティティに一般化できず、さらなる応用が制限される。 本研究では,高精細な3d顔アバターを再現するために,単一のソース画像のみを必要とするワンショット3d顔アバター再構築フレームワークを提案する。 一般化能力の欠如や多視点情報の欠如といった課題に対して,3D GANの先駆けとして,効率的なエンコーダデコーダネットワークを開発し,画像の正準ニューラルボリュームを再構築し,さらに顔の詳細を補完する補償ネットワークを提案する。 顔の力学のきめ細かい制御を可能にするために, 正準容積を駆動式に変換する変形場を提案する。 広範な実験により,いくつかの最先端手法と比較して優れた合成結果を得た。

関連論文リスト

• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [40.10906393484584]
  本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。 本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。 提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-12-03T18:59:15Z)
• MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from Sparse Images [21.811067296567252]
  本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。 実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。 我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-06-17T13:49:56Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors [29.293166730794606]
  そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。 既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
  論文  参考訳（メタデータ） (2022-11-28T04:49:46Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。