論文の概要: LatentAvatar: Learning Latent Expression Code for Expressive Neural Head Avatar

• arxiv url: http://arxiv.org/abs/2305.01190v1
• Date: Tue, 2 May 2023 03:49:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 15:24:47.523236
• Title: LatentAvatar: Learning Latent Expression Code for Expressive Neural Head Avatar
• Title（参考訳）: LatentAvatar: 表現型神経頭アバターの潜在表現コード学習
• Authors: Yuelang Xu, Hongwen Zhang, Lizhen Wang, Xiaochen Zhao, Han Huang, Guojun Qi, Yebin Liu
• Abstract要約: 我々は,潜在性発現コードによって駆動される表現型神経頭アバターであるLatentAvatarを提示する。 LatentAvatarは、挑戦的な表情や、歯や眼球の微妙な動きを捉えることができる。
• 参考スコア（独自算出の注目度）: 60.363572621347565
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing approaches to animatable NeRF-based head avatars are either built upon face templates or use the expression coefficients of templates as the driving signal. Despite the promising progress, their performances are heavily bound by the expression power and the tracking accuracy of the templates. In this work, we present LatentAvatar, an expressive neural head avatar driven by latent expression codes. Such latent expression codes are learned in an end-to-end and self-supervised manner without templates, enabling our method to get rid of expression and tracking issues. To achieve this, we leverage a latent head NeRF to learn the person-specific latent expression codes from a monocular portrait video, and further design a Y-shaped network to learn the shared latent expression codes of different subjects for cross-identity reenactment. By optimizing the photometric reconstruction objectives in NeRF, the latent expression codes are learned to be 3D-aware while faithfully capturing the high-frequency detailed expressions. Moreover, by learning a mapping between the latent expression code learned in shared and person-specific settings, LatentAvatar is able to perform expressive reenactment between different subjects. Experimental results show that our LatentAvatar is able to capture challenging expressions and the subtle movement of teeth and even eyeballs, which outperforms previous state-of-the-art solutions in both quantitative and qualitative comparisons. Project page: https://www.liuyebin.com/latentavatar.
• Abstract（参考訳）: 既存のNeRFベースのヘッドアバターへのアプローチは、顔テンプレート上に構築されるか、テンプレートの表現係数を駆動信号として使用する。 期待された進歩にもかかわらず、その性能はテンプレートの表現力と追跡精度に大きく左右される。 本研究では,潜在表現符号によって駆動される表現型神経頭アバターであるLatentAvatarを紹介する。 このような潜在式コードはテンプレートを使わずにエンドツーエンドかつ自己管理的な方法で学習され,表現の除去やトラッキングの問題が解決される。 これを実現するために,潜伏頭部nerfを利用して単眼ポートレートビデオから人物固有潜時表現符号を学習し,さらにy字型ネットワークをデザインし,異なる被写体の共有潜時表現符号を学習し,相互同一性再現を行う。 NeRFにおける光度再構成の目的を最適化することにより、潜伏表現符号は高頻度の詳細な表現を忠実に捉えながら3D認識される。 さらに、共有と人固有の設定で学習した潜在表現コードのマッピングを学習することにより、LatentAvatarは異なる被験者間で表現的再現を行うことができる。 実験の結果, 歯や眼球の動きは, 定量的, 質的比較において, 従来の最先端のソリューションを上回り, 挑戦的な表現や微妙な動きを捉えることができた。 プロジェクトページ: https://www.liuyebin.com/latentavatar。

関連論文リスト

• FLIER: Few-shot Language Image Models Embedded with Latent Representations [2.443383032451177]
  画像認識のための潜在表現(FLIER)を組み込んだFew-shot Language Image Model。 まず、GPT-3からのテキスト入力で、安定拡散による画像とそれに対応する潜在表現を生成する。 潜在表現を「モデル理解可能なピクセル」として、2つの畳み込み層を持つ柔軟な畳み込みニューラルネットワークを導入し、潜り込みエンコーダとする。
  論文  参考訳（メタデータ） (2024-10-10T06:27:46Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• DiffusionAvatars: Deferred Diffusion for High-fidelity 3D Head Avatars [48.50728107738148]
  DiffusionAvatarsは人の高忠実度3Dヘッドアバターを合成し、ポーズと表情の両方を直感的に制御する。 表現と頭部ポーズの粗い誘導のために、ターゲット視点からニューラルパラメトリックヘッドモデル(NPHM)を描画する。 我々は,NPHMから得られた表現コードに直接DiffusionAvatarsを挿入する。
  論文  参考訳（メタデータ） (2023-11-30T15:43:13Z)
• BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis [7.485318043174123]
  リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。 提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。 実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
  論文  参考訳（メタデータ） (2023-11-09T17:05:53Z)
• MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from Sparse Images [21.811067296567252]
  本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。 実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。 我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-06-17T13:49:56Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• VariTex: Variational Neural Face Textures [0.0]
  VariTexは、ニューラルフェイステクスチャの変動潜在特徴空間を学習する手法である。 頭部の完全な画像を生成するために,毛髪などの正確な詳細情報を生成する付加デコーダを提案する。 その結果、顔のポーズ、顔の形状、表情の微粒度を制御できる新しいアイデンティティの幾何学的に一貫性のある画像を生成することができる。
  論文  参考訳（メタデータ） (2021-04-13T07:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。