論文の概要: Controllable Dynamic Appearance for Neural 3D Portraits

• arxiv url: http://arxiv.org/abs/2309.11009v2
• Date: Thu, 21 Sep 2023 17:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 11:41:38.171035
• Title: Controllable Dynamic Appearance for Neural 3D Portraits
• Title（参考訳）: ニューラル3次元画像の動的表示制御
• Authors: ShahRukh Athar, Zhixin Shu, Zexiang Xu, Fujun Luan, Sai Bi, Kalyan Sunkavalli and Dimitris Samaras
• Abstract要約: 実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。 CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
• 参考スコア（独自算出の注目度）: 54.29179484318194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Neural Radiance Fields (NeRFs) have made it possible to reconstruct and reanimate dynamic portrait scenes with control over head-pose, facial expressions and viewing direction. However, training such models assumes photometric consistency over the deformed region e.g. the face must be evenly lit as it deforms with changing head-pose and facial expression. Such photometric consistency across frames of a video is hard to maintain, even in studio environments, thus making the created reanimatable neural portraits prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a system that enables the creation of fully controllable 3D portraits in real-world capture conditions. CoDyNeRF learns to approximate illumination dependent effects via a dynamic appearance model in the canonical space that is conditioned on predicted surface normals and the facial expressions and head-pose deformations. The surface normals prediction is guided using 3DMM normals that act as a coarse prior for the normals of the human head, where direct prediction of normals is hard due to rigid and non-rigid deformations induced by head-pose and facial expression changes. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls, and realistic lighting effects. The project page can be found here: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html
• Abstract（参考訳）: 近年のNeural Radiance Fields (NeRFs) の進歩により, 頭部, 表情, 視聴方向を制御した動的ポートレートシーンの再構築と再識別が可能となった。 しかし、そのようなモデルのトレーニングでは、変形した領域上での光度整合性を前提としており、例えば、顔は頭部や顔の表情を変えて変形するので、均等に照らさなければならない。 ビデオのフレーム間のこのような光度整合性は、スタジオ環境でも維持が難しいため、生成したニューラルポートレートは、再アニメーション中にアーティファクトに見受けられる。 本研究では,実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。 CoDyNeRFは、予測表面正規と顔の表情と頭部の変形に条件づけられた標準空間における動的外観モデルを通して、照明依存効果を近似することを学ぶ。 表面正規化予測は、頭部の正常化に先立って粗い働きをする3dmm正規化を用いて誘導されるが、頭部配置や表情の変化によって引き起こされる剛性および非剛性変形により、正常化の直接予測は困難である。 被験者のスマートフォンで撮影したショートビデオのみを訓練用として,頭部の姿勢と表情制御を明示したポートレートシーンのフリービュー合成とリアルな照明効果の有効性を実証した。 プロジェクトページは以下の通りである。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• NARRATE: A Normal Assisted Free-View Portrait Stylizer [42.38374601073052]
  NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。 実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。 さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
  論文  参考訳（メタデータ） (2022-07-03T07:54:05Z)
• RigNeRF: Fully Controllable Neural 3D Portraits [52.91370717599413]
  RigNeRFは、単一のポートレートビデオから学んだ頭部ポーズと表情を完全に制御できる。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-13T21:28:34Z)
• FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation [37.39945646282971]
  本稿では,映像合成のためのニューラルレンダリング手法を提案する。 3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現した。 本稿では,写真表現制御によるポートレートビデオのフリービュー合成における提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-10T20:41:15Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。