論文の概要: AvatarReX: Real-time Expressive Full-body Avatars
- arxiv url: http://arxiv.org/abs/2305.04789v1
- Date: Mon, 8 May 2023 15:43:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 13:50:41.280467
- Title: AvatarReX: Real-time Expressive Full-body Avatars
- Title（参考訳）: AvatarReX:リアルタイム圧縮フルボディアバター
- Authors: Zerong Zheng, Xiaochen Zhao, Hongwen Zhang, Boning Liu, Yebin Liu
- Abstract要約: ビデオデータからNeRFに基づくフルボディアバターを学習するための新しい手法であるAvatarReXを提案する。
学習されたアバターは、身体、手、顔の表現力のある制御を提供するだけでなく、リアルタイムのアニメーションやレンダリングもサポートする。
- 参考スコア（独自算出の注目度）: 35.09470037950997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present AvatarReX, a new method for learning NeRF-based full-body avatars
from video data. The learnt avatar not only provides expressive control of the
body, hands and the face together, but also supports real-time animation and
rendering. To this end, we propose a compositional avatar representation, where
the body, hands and the face are separately modeled in a way that the
structural prior from parametric mesh templates is properly utilized without
compromising representation flexibility. Furthermore, we disentangle the
geometry and appearance for each part. With these technical designs, we propose
a dedicated deferred rendering pipeline, which can be executed in real-time
framerate to synthesize high-quality free-view images. The disentanglement of
geometry and appearance also allows us to design a two-pass training strategy
that combines volume rendering and surface rendering for network training. In
this way, patch-level supervision can be applied to force the network to learn
sharp appearance details on the basis of geometry estimation. Overall, our
method enables automatic construction of expressive full-body avatars with
real-time rendering capability, and can generate photo-realistic images with
dynamic details for novel body motions and facial expressions.
- Abstract（参考訳）: ビデオデータからNeRFに基づくフルボディアバターを学習するための新しい手法であるAvatarReXを提案する。
学習アバターは、身体、手、顔の表現的制御を提供するだけでなく、リアルタイムのアニメーションやレンダリングもサポートする。
そこで,本研究では,パラメトリックメッシュテンプレートに先行する構造を,表現の柔軟性を損なうことなく適切に活用するように,身体,手,顔が別々にモデル化される構成的アバター表現を提案する。
さらに,各部分の幾何学的特徴と外観について考察する。
これらの技術設計により,リアルタイムフレームレートで実行し,高品質なフリービュー画像を合成できる専用遅延レンダリングパイプラインを提案する。
幾何と外観の絡み合わせにより、ネットワークトレーニングのためのボリュームレンダリングとサーフェスレンダリングを組み合わせた2パスのトレーニング戦略を設計できる。
このようにして、ネットワークに幾何学的推定に基づいてシャープな外観の詳細を学習させるためにパッチレベルの監視を適用することができる。
提案手法により, リアルタイムレンダリング機能を備えた表現力のあるフルボディアバターの自動構築が可能となり, 身体の動きや表情を動的に表現できる。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - Democratizing the Creation of Animatable Facial Avatars [2.1740466069378597]
光ステージやハイエンドハードウェアを使わずに幾何学やテクスチャを得るための新しいパイプラインを提案する。
キーとなる新しいアイデアは、テンプレートアバターの幾何学と整合するように現実世界の画像を歪めることである。
提案手法は,中性表現幾何学とデライトテクスチャを得るだけでなく,アニメーションシステムにインポートされたアバターの改良にも利用することができる。
論文 参考訳（メタデータ） (2024-01-29T20:14:40Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。
本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-20T09:28:16Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳（メタデータ） (2021-12-14T15:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。