論文の概要: Neural Head Avatars from Monocular RGB Videos

• arxiv url: http://arxiv.org/abs/2112.01554v1
• Date: Thu, 2 Dec 2021 19:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 16:18:35.677452
• Title: Neural Head Avatars from Monocular RGB Videos
• Title（参考訳）: モノクラーRGBビデオからのニューラルヘッドアバター
• Authors: Philip-William Grassal (1), Malte Prinzler (1), Titus Leistner (1), Carsten Rother (1), Matthias Nie{\ss}ner (2), Justus Thies (3) ((1) Heidelberg University, (2) Technical University of Munich, (3) Max Planck Institute for Intelligent Systems)
• Abstract要約: アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。 我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Neural Head Avatars, a novel neural representation that explicitly models the surface geometry and appearance of an animatable human avatar that can be used for teleconferencing in AR/VR or other applications in the movie or games industry that rely on a digital human. Our representation can be learned from a monocular RGB portrait video that features a range of different expressions and views. Specifically, we propose a hybrid representation consisting of a morphable model for the coarse shape and expressions of the face, and two feed-forward networks, predicting vertex offsets of the underlying mesh as well as a view- and expression-dependent texture. We demonstrate that this representation is able to accurately extrapolate to unseen poses and view points, and generates natural expressions while providing sharp texture details. Compared to previous works on head avatars, our method provides a disentangled shape and appearance model of the complete human head (including hair) that is compatible with the standard graphics pipeline. Moreover, it quantitatively and qualitatively outperforms current state of the art in terms of reconstruction quality and novel-view synthesis.
• Abstract（参考訳）: このニューラルヘッドアバターは、デジタル人間に依存する映画やゲーム業界において、AR/VRやその他のアプリケーションでの遠隔会議に使用できる、アニマタブルな人間のアバターの表面形状と外観を明示的にモデル化する新しいニューラルヘッドアバターである。 我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。 具体的には、顔の粗い形状と表現のための変形可能なモデルと、下層のメッシュの頂点オフセットを予測する2つのフィードフォワードネットワークと、ビューおよび表現に依存したテクスチャからなるハイブリッド表現を提案する。 我々は,この表現が,目立たないポーズや視点に正確に外挿でき,鋭いテクスチャの詳細を提供しながら自然表現を生成できることを実証する。 従来の頭部アバターの著作と比較すると,本手法は標準的なグラフィックパイプラインと互換性のある完全な頭部(毛髪を含む)の形状と外観モデルを提供する。 さらに、再現性や新規ビュー合成の観点から、定量的かつ質的に現在の技術状況を上回っている。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
  リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。 提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。 実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
  論文  参考訳（メタデータ） (2023-11-09T17:05:53Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• AniPixel: Towards Animatable Pixel-Aligned Human Avatar [65.7175527782209]
  AniPixelは、アニマタブルで一般化可能なヒトアバター再構成法である。 本研究では, 骨格変形に基づく神経スキンフィールドを提案し, 標的-カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニカル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カノニアル・カ 実験では、AniPixelは最先端の手法よりも優れた新しいポーズのアニメーション結果を提供しながら、同等の斬新なビューをレンダリングしている。
  論文  参考訳（メタデータ） (2023-02-07T11:04:14Z)
• Reconstructing Personalized Semantic Facial NeRF Models From Monocular Video [27.36067360218281]
  本稿では,ニューラルラディアンスフィールドで定義された人間の頭部のセマンティックモデルを提案する。 3D一貫性ヘッドモデルは、不整合と解釈可能な基底の集合で構成され、低次元の表現係数で駆動することができる。 短い単眼のRGB動画を入力として,本手法では10分から20分で被験者の顔のNeRFモデルを構築することができる。
  論文  参考訳（メタデータ） (2022-10-12T11:56:52Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Neural Strands: Learning Hair Geometry and Appearance from Multi-View Images [40.91569888920849]
  マルチビュー画像入力から正確な毛髪形状と外観をモデル化する新しい学習フレームワークであるNeural Strandsを提案する。 学習したヘアモデルは、高忠実度ビュー依存効果のあるあらゆる視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-28T13:08:46Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction [9.747648609960185]
  本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
  論文  参考訳（メタデータ） (2020-12-05T16:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。