論文の概要: RigNeRF: Fully Controllable Neural 3D Portraits

• arxiv url: http://arxiv.org/abs/2206.06481v1
• Date: Mon, 13 Jun 2022 21:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 09:31:18.665323
• Title: RigNeRF: Fully Controllable Neural 3D Portraits
• Title（参考訳）: RigNeRF:完全制御可能なニューラル3Dポートレイト
• Authors: ShahRukh Athar, Zexiang Xu, Kalyan Sunkavalli, Eli Shechtman and Zhixin Shu
• Abstract要約: RigNeRFは、単一のポートレートビデオから学んだ頭部ポーズと表情を完全に制御できる。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
• 参考スコア（独自算出の注目度）: 52.91370717599413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Volumetric neural rendering methods, such as neural radiance fields (NeRFs), have enabled photo-realistic novel view synthesis. However, in their standard form, NeRFs do not support the editing of objects, such as a human head, within a scene. In this work, we propose RigNeRF, a system that goes beyond just novel view synthesis and enables full control of head pose and facial expressions learned from a single portrait video. We model changes in head pose and facial expressions using a deformation field that is guided by a 3D morphable face model (3DMM). The 3DMM effectively acts as a prior for RigNeRF that learns to predict only residuals to the 3DMM deformations and allows us to render novel (rigid) poses and (non-rigid) expressions that were not present in the input sequence. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls. The project page can be found here: http://shahrukhathar.github.io/2022/06/06/RigNeRF.html
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)のような体積的ニューラルレンダリング法は、フォトリアリスティックな新規なビュー合成を可能にしている。 しかし、標準的な形式では、NeRFはシーン内の人間の頭のようなオブジェクトの編集をサポートしない。 本研究では,単に新しい視点合成ではなく,単一のポートレートビデオから学習した頭部のポーズと表情の完全な制御を可能にするシステムである rignerf を提案する。 3d morphable face model (3dmm) によって誘導される変形場を用いて, 頭部の姿勢と表情の変化をモデル化する。 3DMMは、3DMM変形の残差のみを予測することを学習し、入力シーケンスに存在しない新しい(厳密な)ポーズや(厳密でない)表現を描画するRigNeRFの先行として効果的に機能する。 スマートフォンで撮影した訓練対象のショートビデオのみを用いて,明快な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成における本手法の有効性を実証した。 プロジェクトページは以下の通りである。

関連論文リスト

• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• Controllable Dynamic Appearance for Neural 3D Portraits [54.29179484318194]
  実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。 CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2023-09-20T02:24:40Z)
• Reconstructing Personalized Semantic Facial NeRF Models From Monocular Video [27.36067360218281]
  本稿では,ニューラルラディアンスフィールドで定義された人間の頭部のセマンティックモデルを提案する。 3D一貫性ヘッドモデルは、不整合と解釈可能な基底の集合で構成され、低次元の表現係数で駆動することができる。 短い単眼のRGB動画を入力として,本手法では10分から20分で被験者の顔のNeRFモデルを構築することができる。
  論文  参考訳（メタデータ） (2022-10-12T11:56:52Z)
• Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit Functions [70.04394678730968]
  人間の頭部の3次元再構築を1つか2つの視点から提案する。 基盤となる神経アーキテクチャは、オブジェクトを学習し、モデルを一般化することである。 私たちのモデルは、100本のビデオやワンショットの3Dスキャンに、斬新な頭を収めることができます。
  論文  参考訳（メタデータ） (2022-09-07T21:09:24Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)
• Novel View Synthesis for High-fidelity Headshot Scenes [5.33510552066148]
  我々はNeRFが幾何的整合性を維持しながら新しいビューを描画できることを発見したが、モルや毛穴などの皮膚の詳細を適切に保持していない。 本研究では,NeRFと3DMMを併用して,顔を持つシーンの高忠実な新規ビューを合成する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T08:14:15Z)
• PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering [56.762094966235566]
  ポートレート画像ニューラルレンダは、3次元の変形可能な顔モデルのパラメータで顔の動きを制御するために提案される。 提案モデルでは直感的な修正によって正確な動きで写真リアルなポートレート画像を生成することができる。 本モデルでは、単一の参照画像と駆動音声ストリームのみから、説得力のある動きでコヒーレントな動画を生成することができる。
  論文  参考訳（メタデータ） (2021-09-17T07:24:16Z)
• FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation [37.39945646282971]
  本稿では,映像合成のためのニューラルレンダリング手法を提案する。 3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現した。 本稿では,写真表現制御によるポートレートビデオのフリービュー合成における提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-10T20:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。