論文の概要: 360{\deg} Volumetric Portrait Avatar

• arxiv url: http://arxiv.org/abs/2312.05311v1
• Date: Fri, 8 Dec 2023 19:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:31:32.097329
• Title: 360{\deg} Volumetric Portrait Avatar
• Title（参考訳）: 360{\deg}ボリュームポートレートアバター
• Authors: Jalees Nehvi, Berna Kabadayi, Julien Valentin, Justus Thies
• Abstract要約: モノクロ映像の入力のみをベースとした360度写真リアルな肖像画アバターの再構築手法を提案する。 得られた実世界のデータに対する我々のアプローチを評価し,最先端のモノクル再構成手法との比較を行った。
• 参考スコア（独自算出の注目度）: 20.94425848146312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose 360{\deg} Volumetric Portrait (3VP) Avatar, a novel method for reconstructing 360{\deg} photo-realistic portrait avatars of human subjects solely based on monocular video inputs. State-of-the-art monocular avatar reconstruction methods rely on stable facial performance capturing. However, the common usage of 3DMM-based facial tracking has its limits; side-views can hardly be captured and it fails, especially, for back-views, as required inputs like facial landmarks or human parsing masks are missing. This results in incomplete avatar reconstructions that only cover the frontal hemisphere. In contrast to this, we propose a template-based tracking of the torso, head and facial expressions which allows us to cover the appearance of a human subject from all sides. Thus, given a sequence of a subject that is rotating in front of a single camera, we train a neural volumetric representation based on neural radiance fields. A key challenge to construct this representation is the modeling of appearance changes, especially, in the mouth region (i.e., lips and teeth). We, therefore, propose a deformation-field-based blend basis which allows us to interpolate between different appearance states. We evaluate our approach on captured real-world data and compare against state-of-the-art monocular reconstruction methods. In contrast to those, our method is the first monocular technique that reconstructs an entire 360{\deg} avatar.
• Abstract（参考訳）: モノクロビデオ入力のみをベースとした360{\deg} Volumetric Portrait (3VP) Avatar(360{\deg} Photo-realistic portrait avatar)の再構築手法を提案する。 最先端のモノキュラーアバター再構成法は、安定した顔のパフォーマンスキャプチャに依存する。 しかし、3DMMベースの顔追跡の一般的な使用には限界があり、顔のランドマークや人間のパーシングマスクのような必要な入力が欠落しているため、サイドビューは捉えられにくく、特にバックビューでは失敗する。 これにより、前頭半球のみを覆う不完全なアバター再建が生じる。 これとは対照的に, 胴体, 頭, 顔の表情をテンプレートで追跡することで, 被験者の外観を全方向からカバーできる。 したがって、1台のカメラの前で回転している被写体のシーケンスを考慮し、神経放射場に基づく神経体積表現を訓練する。 この表現を構築するための重要な課題は、特に口領域(唇と歯)における外観変化のモデル化である。 そこで, 変形場に基づくブレンドベースを提案し, 異なる外観状態間を補間する。 本手法を実世界データを用いて評価し,最先端のモノクロ再構成法と比較した。 それらとは対照的に,本手法は360{\deg}アバター全体を再構成する最初の単眼的手法である。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
  そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
  論文  参考訳（メタデータ） (2023-11-22T19:13:00Z)
• OPHAvatars: One-shot Photo-realistic Head Avatars [0.0]
  ポートレートが与えられた場合、駆動キーポイント機能を用いて、粗い音声ヘッドビデオを合成する。 粗いアバターのレンダリング画像を用いて,低画質の画像をブラインド顔復元モデルで更新する。 数回繰り返して、本手法は光リアルなアニマタブルな3Dニューラルヘッドアバターを合成することができる。
  論文  参考訳（メタデータ） (2023-07-18T11:24:42Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors [29.293166730794606]
  そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。 既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
  論文  参考訳（メタデータ） (2022-11-28T04:49:46Z)
• MonoNHR: Monocular Neural Human Renderer [51.396845817689915]
  モノクラー・ニューラル・ヒューマン・レンダラー(Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー: Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー: Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー)を提案する。 まず,3次元の幾何学的特徴とテクスチャ的特徴を分離し,テクスチャ推論を3次元の幾何学的特徴に適応させることを提案する。 第2に、対称のような人間の構造的先入観を生かした閉塞部を塗布するメッシュ・インパインター・モジュールを導入する。
  論文  参考訳（メタデータ） (2022-10-02T21:01:02Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。