論文の概要: PointAvatar: Deformable Point-based Head Avatars from Videos

• arxiv url: http://arxiv.org/abs/2212.08377v1
• Date: Fri, 16 Dec 2022 10:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 16:17:27.961421
• Title: PointAvatar: Deformable Point-based Head Avatars from Videos
• Title（参考訳）: PointAvatar:ビデオから変形可能なポイントベースのヘッドアバター
• Authors: Yufeng Zheng, Wang Yifan, Gordon Wetzstein, Michael J. Black, Otmar Hilliges
• Abstract要約: PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
• 参考スコア（独自算出の注目度）: 103.43941945044294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to create realistic, animatable and relightable head avatars from casual video sequences would open up wide ranging applications in communication and entertainment. Current methods either build on explicit 3D morphable meshes (3DMM) or exploit neural implicit representations. The former are limited by fixed topology, while the latter are non-trivial to deform and inefficient to render. Furthermore, existing approaches entangle lighting in the color estimation, thus they are limited in re-rendering the avatar in new environments. In contrast, we propose PointAvatar, a deformable point-based representation that disentangles the source color into intrinsic albedo and normal-dependent shading. We demonstrate that PointAvatar bridges the gap between existing mesh- and implicit representations, combining high-quality geometry and appearance with topological flexibility, ease of deformation and rendering efficiency. We show that our method is able to generate animatable 3D avatars using monocular videos from multiple sources including hand-held smartphones, laptop webcams and internet videos, achieving state-of-the-art quality in challenging cases where previous methods fail, e.g., thin hair strands, while being significantly more efficient in training than competing methods.
• Abstract（参考訳）: カジュアルなビデオシークエンスから、リアルでアニメーション可能で楽しい頭部アバターを作る能力は、コミュニケーションとエンターテイメントの幅広い応用を開拓する。 現在の手法は、明示的な3Dフォーマット可能なメッシュ(3DMM)上に構築されるか、神経暗黙の表現を利用する。 前者は固定トポロジーによって制限され、後者は変形が非自明でレンダリングが非効率である。 さらに,既存手法では色推定において照明を絡み合うため,新たな環境下でアバターの再レンダリングが制限される。 対照的に、変形可能な点ベース表現であるPointAvatarは、原色を固有アルベドと正規依存シェーディングに分解する。 我々は、pointavatarが既存のメッシュ表現と暗黙表現のギャップを橋渡しし、高品質な幾何学と外観とトポロジカルな柔軟性、変形の容易さ、レンダリング効率を組み合わせることを実証する。 本手法は,ハンドヘルド・スマートフォン,ラップトップ・ウェブカメラ,インターネット・ビデオなど複数のソースから得られる単眼映像を用いてアニメーション可能な3dアバターを生成でき,従来の手法が失敗した場合,例えば薄いヘアストランドなどにおいて最先端のクオリティを達成し,かつ,競合する手法よりもトレーニングにおいてはるかに効率的であることを示す。

関連論文リスト

• MeshAvatar: Learning High-quality Triangular Human Avatars from Multi-view Videos [41.45299653187577]
  多視点ビデオから高品質な三角アバターを学習するための新しいパイプラインを提案する。 本手法は暗黙のSDFフィールドから抽出した三角メッシュでアバターを表現する。 我々は、幾何学とテクスチャを正確に分解するために物理ベースのレンダリングを取り入れた。
  論文  参考訳（メタデータ） (2024-07-11T11:37:51Z)
• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting [17.78639236586134]
  PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。 詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。 PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
  論文  参考訳（メタデータ） (2024-01-23T16:40:47Z)
• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。