論文の概要: Reconstructing Personalized Semantic Facial NeRF Models From Monocular Video

• arxiv url: http://arxiv.org/abs/2210.06108v1
• Date: Wed, 12 Oct 2022 11:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:40:02.025528
• Title: Reconstructing Personalized Semantic Facial NeRF Models From Monocular Video
• Title（参考訳）: モノクラービデオによる個人化顔のNeRFモデルの構築
• Authors: Xuan Gao, Chenglai Zhong, Jun Xiang, Yang Hong, Yudong Guo, Juyong Zhang
• Abstract要約: 本稿では,ニューラルラディアンスフィールドで定義された人間の頭部のセマンティックモデルを提案する。 3D一貫性ヘッドモデルは、不整合と解釈可能な基底の集合で構成され、低次元の表現係数で駆動することができる。 短い単眼のRGB動画を入力として,本手法では10分から20分で被験者の顔のNeRFモデルを構築することができる。
• 参考スコア（独自算出の注目度）: 27.36067360218281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel semantic model for human head defined with neural radiance field. The 3D-consistent head model consist of a set of disentangled and interpretable bases, and can be driven by low-dimensional expression coefficients. Thanks to the powerful representation ability of neural radiance field, the constructed model can represent complex facial attributes including hair, wearings, which can not be represented by traditional mesh blendshape. To construct the personalized semantic facial model, we propose to define the bases as several multi-level voxel fields. With a short monocular RGB video as input, our method can construct the subject's semantic facial NeRF model with only ten to twenty minutes, and can render a photo-realistic human head image in tens of miliseconds with a given expression coefficient and view direction. With this novel representation, we apply it to many tasks like facial retargeting and expression editing. Experimental results demonstrate its strong representation ability and training/inference speed. Demo videos and released code are provided in our project page: https://ustc3dv.github.io/NeRFBlendShape/
• Abstract（参考訳）: 本稿では,ニューラルラディアンスフィールドで定義された人間の頭部のセマンティックモデルを提案する。 3D一貫性ヘッドモデルは、不整合と解釈可能な基底の集合で構成され、低次元表現係数で駆動することができる。 ニューラルネットワークの強力な表現能力により、構築されたモデルは、従来のメッシュブレンドシェープでは表現できない毛髪、着用などの複雑な顔の特徴を表現できる。 パーソナライズされた意味的顔モデルを構築するために、ベースを複数の多レベルボクセルフィールドとして定義する。 短時間の単眼RGB映像を入力として、10～20分で対象者の顔のNeRFモデルを構築でき、所定の表現係数と視野方向で数ミリ秒で写真リアルな人間の頭部画像を描画することができる。 この表現を顔の再ターゲティングや表情編集といった多くのタスクに適用する。 実験結果は、その強力な表現能力とトレーニング/推論速度を示す。 デモビデオとリリースされたコードは、プロジェクトページで公開されています。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit Functions [70.04394678730968]
  人間の頭部の3次元再構築を1つか2つの視点から提案する。 基盤となる神経アーキテクチャは、オブジェクトを学習し、モデルを一般化することである。 私たちのモデルは、100本のビデオやワンショットの3Dスキャンに、斬新な頭を収めることができます。
  論文  参考訳（メタデータ） (2022-09-07T21:09:24Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)
• RigNeRF: Fully Controllable Neural 3D Portraits [52.91370717599413]
  RigNeRFは、単一のポートレートビデオから学んだ頭部ポーズと表情を完全に制御できる。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-13T21:28:34Z)
• Semantic-Aware Implicit Neural Audio-Driven Video Portrait Generation [61.8546794105462]
  我々は,一組のNeRFを用いて,繊細な音声駆動のポートレートを生成するセマンティック・アウェア・ポーティング・ポートレート・ネRF(SSP-NeRF)を提案する。 まず,音声によるボリュームレンダリングを容易にする解析機能を備えたSemantic-Aware Dynamic Ray Smplingモジュールを提案する。 1つの統合神経放射場におけるポートレートレンダリングを可能にするため、Torso変形モジュールは、大規模な非剛性胴体運動を安定させるように設計されている。
  論文  参考訳（メタデータ） (2022-01-19T18:54:41Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)
• Neural Head Avatars from Monocular RGB Videos [0.0]
  アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。 我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
  論文  参考訳（メタデータ） (2021-12-02T19:01:05Z)
• Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction [9.747648609960185]
  本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
  論文  参考訳（メタデータ） (2020-12-05T16:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。