論文の概要: FNeVR: Neural Volume Rendering for Face Animation

• arxiv url: http://arxiv.org/abs/2209.10340v1
• Date: Wed, 21 Sep 2022 13:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 16:35:17.126915
• Title: FNeVR: Neural Volume Rendering for Face Animation
• Title（参考訳）: FNeVR: 顔アニメーションのためのニューラルボリュームレンダリング
• Authors: Bohan Zeng, Boyu Liu, Hong Li, Xuhui Liu, Jianzhuang Liu, Dapeng Chen, Wei Peng, Baochang Zhang
• Abstract要約: 本研究では,2次元モーションワープと3次元ボリュームレンダリングの可能性を探るため,FNeVRネットワークを提案する。 FNeVRでは、画像レンダリングのための顔の詳細を強化するために、FVRモジュールを設計する。 また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。
• 参考スコア（独自算出の注目度）: 53.92664037596834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face animation, one of the hottest topics in computer vision, has achieved a promising performance with the help of generative models. However, it remains a critical challenge to generate identity preserving and photo-realistic images due to the sophisticated motion deformation and complex facial detail modeling. To address these problems, we propose a Face Neural Volume Rendering (FNeVR) network to fully explore the potential of 2D motion warping and 3D volume rendering in a unified framework. In FNeVR, we design a 3D Face Volume Rendering (FVR) module to enhance the facial details for image rendering. Specifically, we first extract 3D information with a well-designed architecture, and then introduce an orthogonal adaptive ray-sampling module for efficient rendering. We also design a lightweight pose editor, enabling FNeVR to edit the facial pose in a simple yet effective way. Extensive experiments show that our FNeVR obtains the best overall quality and performance on widely used talking-head benchmarks.
• Abstract（参考訳）: コンピュータビジョンで最もホットなトピックの1つである顔アニメーションは、生成モデルの助けを借りて、有望なパフォーマンスを達成した。 しかし、高度な運動変形と複雑な顔のディテールモデリングのため、アイデンティティ保存とフォトリアリスティックな画像を生成することは依然として重要な課題である。 これらの問題に対処するために,FNeVR(Face Neural Volume Rendering)ネットワークを提案し,統合されたフレームワークにおける2次元モーションワープと3次元ボリュームレンダリングの可能性について検討する。 fnevrでは、3d顔ボリュームレンダリング(fvr)モジュールをデザインし、画像レンダリングのための顔の詳細を強化します。 具体的には,まず,設計の整ったアーキテクチャを用いて3d情報を抽出し,効率的なレンダリングのための直交適応レイサンプリングモジュールを導入する。 また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。 我々のFNeVRは、広く使われているトーキングヘッドベンチマークにおいて、最高の全体的な品質と性能を得る。

関連論文リスト

• G3FA: Geometry-guided GAN for Face Animation [14.488117084637631]
  この制限に対処するために、顔アニメーション(G3FA)のための幾何学誘導型GANを導入する。 我々の新しいアプローチは、顔アニメーションモデルに2次元画像のみを用いて3次元情報を組み込むことを可能にした。 顔の再現モデルでは、動きのダイナミクスを捉えるために2次元の運動ワープを利用する。
  論文  参考訳（メタデータ） (2024-08-23T13:13:24Z)
• NeRFFaceSpeech: One-shot Audio-driven 3D Talking Head Synthesis via Generative Prior [5.819784482811377]
  高品質な3D対応音声ヘッドを作成できる新しい方法NeRFFaceSpeechを提案する。 本手法では,1枚の画像に対応する3次元顔特徴空間を作成できる。 また,リパインネットを導入し,その情報不足を補う。
  論文  参考訳（メタデータ） (2024-05-09T13:14:06Z)
• FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
  動的顔の3Dレンダリングは難しい問題である。 本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:44:13Z)
• Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space [38.940128217895115]
  本稿では,顔の動きを終末的にキャプチャーと組み合わせたVersatile Face Animatorを提案する。 1) 階層的な動き辞書を用いて生のRGBDビデオから顔の動きを学習し, 任意の3D文字で表情をアニメーションできるRGBDアニメーションモジュールを提案する。 総合的な実験により,提案手法が印象的な3次元顔画像生成に有効であることを実証した。
  論文  参考訳（メタデータ） (2023-08-11T11:29:01Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors [29.293166730794606]
  そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。 既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
  論文  参考訳（メタデータ） (2022-11-28T04:49:46Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering [56.762094966235566]
  ポートレート画像ニューラルレンダは、3次元の変形可能な顔モデルのパラメータで顔の動きを制御するために提案される。 提案モデルでは直感的な修正によって正確な動きで写真リアルなポートレート画像を生成することができる。 本モデルでは、単一の参照画像と駆動音声ストリームのみから、説得力のある動きでコヒーレントな動画を生成することができる。
  論文  参考訳（メタデータ） (2021-09-17T07:24:16Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Pixel Codec Avatars [99.36561532588831]
  Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。 oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
  論文  参考訳（メタデータ） (2021-04-09T23:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。