論文の概要: PointAvatar: Deformable Point-based Head Avatars from Videos
- arxiv url: http://arxiv.org/abs/2212.08377v1
- Date: Fri, 16 Dec 2022 10:05:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 16:17:27.961421
- Title: PointAvatar: Deformable Point-based Head Avatars from Videos
- Title(参考訳): PointAvatar:ビデオから変形可能なポイントベースのヘッドアバター
- Authors: Yufeng Zheng, Wang Yifan, Gordon Wetzstein, Michael J. Black, Otmar
Hilliges
- Abstract要約: PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
- 参考スコア(独自算出の注目度): 103.43941945044294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to create realistic, animatable and relightable head avatars from
casual video sequences would open up wide ranging applications in communication
and entertainment. Current methods either build on explicit 3D morphable meshes
(3DMM) or exploit neural implicit representations. The former are limited by
fixed topology, while the latter are non-trivial to deform and inefficient to
render. Furthermore, existing approaches entangle lighting in the color
estimation, thus they are limited in re-rendering the avatar in new
environments. In contrast, we propose PointAvatar, a deformable point-based
representation that disentangles the source color into intrinsic albedo and
normal-dependent shading. We demonstrate that PointAvatar bridges the gap
between existing mesh- and implicit representations, combining high-quality
geometry and appearance with topological flexibility, ease of deformation and
rendering efficiency. We show that our method is able to generate animatable 3D
avatars using monocular videos from multiple sources including hand-held
smartphones, laptop webcams and internet videos, achieving state-of-the-art
quality in challenging cases where previous methods fail, e.g., thin hair
strands, while being significantly more efficient in training than competing
methods.
- Abstract(参考訳): カジュアルなビデオシークエンスから、リアルでアニメーション可能で楽しい頭部アバターを作る能力は、コミュニケーションとエンターテイメントの幅広い応用を開拓する。
現在の手法は、明示的な3Dフォーマット可能なメッシュ(3DMM)上に構築されるか、神経暗黙の表現を利用する。
前者は固定トポロジーによって制限され、後者は変形が非自明でレンダリングが非効率である。
さらに,既存手法では色推定において照明を絡み合うため,新たな環境下でアバターの再レンダリングが制限される。
対照的に、変形可能な点ベース表現であるPointAvatarは、原色を固有アルベドと正規依存シェーディングに分解する。
我々は、pointavatarが既存のメッシュ表現と暗黙表現のギャップを橋渡しし、高品質な幾何学と外観とトポロジカルな柔軟性、変形の容易さ、レンダリング効率を組み合わせることを実証する。
本手法は,ハンドヘルド・スマートフォン,ラップトップ・ウェブカメラ,インターネット・ビデオなど複数のソースから得られる単眼映像を用いてアニメーション可能な3dアバターを生成でき,従来の手法が失敗した場合,例えば薄いヘアストランドなどにおいて最先端のクオリティを達成し,かつ,競合する手法よりもトレーニングにおいてはるかに効率的であることを示す。
関連論文リスト
- PSAvatar: A Point-based Morphable Shape Model for Real-Time Head Avatar
Animation with 3D Gaussian Splatting [19.082059087989844]
PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。
詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。
PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
論文 参考訳(メタデータ) (2024-01-23T16:40:47Z) - UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with
Authenticity Guided Textures [87.44566848803994]
幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。
提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
論文 参考訳(メタデータ) (2024-01-20T01:55:17Z) - MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar [44.125711148560605]
モノガウスアバター(MonoGaussian Avatar)は、3次元ガウス点表現とガウス変形場を利用する新しいアプローチである。
実験により, 従来手法の最先端化を図り, 提案手法の優れた性能を実証した。
論文 参考訳(メタデータ) (2023-12-07T18:59:31Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳(メタデータ) (2023-10-26T16:13:00Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。