論文の概要: Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction

• arxiv url: http://arxiv.org/abs/2012.03065v1
• Date: Sat, 5 Dec 2020 16:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 12:00:50.867372
• Title: Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction
• Title（参考訳）: 単眼4次元顔面アバター再建のための動的神経放射野
• Authors: Guy Gafni, Justus Thies, Michael Zollh\"ofer, Matthias Nie{\ss}ner
• Abstract要約: 本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
• 参考スコア（独自算出の注目度）: 9.747648609960185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present dynamic neural radiance fields for modeling the appearance and dynamics of a human face. Digitally modeling and reconstructing a talking human is a key building-block for a variety of applications. Especially, for telepresence applications in AR or VR, a faithful reproduction of the appearance including novel viewpoints or head-poses is required. In contrast to state-of-the-art approaches that model the geometry and material properties explicitly, or are purely image-based, we introduce an implicit representation of the head based on scene representation networks. To handle the dynamics of the face, we combine our scene representation network with a low-dimensional morphable model which provides explicit control over pose and expressions. We use volumetric rendering to generate images from this hybrid representation and demonstrate that such a dynamic neural scene representation can be learned from monocular input data only, without the need of a specialized capture setup. In our experiments, we show that this learned volumetric representation allows for photo-realistic image generation that surpasses the quality of state-of-the-art video-based reenactment methods.
• Abstract（参考訳）: 人間の顔の外観や動態をモデル化するための動的神経放射場を提案する。 話す人間のデジタルモデリングと再構築は、さまざまなアプリケーションにとって重要なビルディングブロックである。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。 形状や材料特性を明示的にモデル化する最先端の手法とは対照的に,シーン表現ネットワークに基づく頭部の暗黙的な表現を導入する。 顔のダイナミックスを扱うために,ポーズや表情を明示的に制御する低次元形態素モデルとシーン表現ネットワークを組み合わせる。 このハイブリッド表現から画像を生成するのにボリュームレンダリングを使用し、特殊なキャプチャ設定を必要とせずに、そのような動的ニューラルネットワークシーン表現を単眼入力データのみから学習できることを実証する。 実験では,この学習されたボリューム表現により,最先端のビデオベース再現法を超越した写真リアリスティック画像生成が可能となった。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface [0.9134661726886928]
  マルチビュービデオからの暗黙表現を用いて表面形状と外観を再構成するテンプレートレス手法を提案する。 我々はトポロジーを考慮した変形と符号付き距離場を利用して、微分可能なボリュームレンダリングにより複雑な動的曲面を学習する。 異なる多視点ビデオデータセットを用いた実験により,本手法は高忠実度表面再構成とフォトリアリスティックなノベルビュー合成を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-28T19:47:30Z)
• Instant Volumetric Head Avatars [20.782425305421505]
  Instant Volumetric Head Avatars (INSTA)を提案する。 我々のパイプラインは、異なる表現とビューで対象を観察する単一の単眼のRGBポートレートビデオに基づいて訓練されている。 INSTAは、最新のGPUハードウェア上で10分未満でデジタルアバターを再構築する。
  論文  参考訳（メタデータ） (2022-11-22T18:59:46Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• Neural Head Avatars from Monocular RGB Videos [0.0]
  アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。 我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
  論文  参考訳（メタデータ） (2021-12-02T19:01:05Z)
• FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation [37.39945646282971]
  本稿では,映像合成のためのニューラルレンダリング手法を提案する。 3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現した。 本稿では,写真表現制御によるポートレートビデオのフリービュー合成における提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-08-10T20:41:15Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。