論文の概要: PSAvatar: A Point-based Morphable Shape Model for Real-Time Head Avatar
Creation with 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2401.12900v1
- Date: Tue, 23 Jan 2024 16:40:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 15:11:46.228918
- Title: PSAvatar: A Point-based Morphable Shape Model for Real-Time Head Avatar
Creation with 3D Gaussian Splatting
- Title（参考訳）: PSAvatar:3次元ガウス平板を用いたリアルタイム頭部アバター作成のためのポイントベース形状モデル
- Authors: Zhongyuan Zhao and Zhenyu Bao and Qing Li and Guoping Qiu and Kanglin
Liu
- Abstract要約: PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。
詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。
PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
- 参考スコア（独自算出の注目度）: 19.082059087989844
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite much progress, creating real-time high-fidelity head avatar is still
difficult and existing methods have to trade-off between speed and quality.
3DMM based methods often fail to model non-facial structures such as eyeglasses
and hairstyles, while neural implicit models suffer from deformation
inflexibility and rendering inefficiency.
Although 3D Gaussian has been demonstrated to possess promising capability
for geometry representation and radiance field reconstruction, applying 3D
Gaussian in head avatar creation remains a major challenge since it is
difficult for 3D Gaussian to model the head shape variations caused by changing
poses and expressions. In this paper, we introduce PSAvatar, a novel framework
for animatable head avatar creation that utilizes discrete geometric primitive
to create a parametric morphable shape model and employs 3D Gaussian for fine
detail representation and high fidelity rendering. The parametric morphable
shape model is a Point-based Morphable Shape Model (PMSM) which uses points
instead of meshes for 3D representation to achieve enhanced representation
flexibility. The PMSM first converts the FLAME mesh to points by sampling on
the surfaces as well as off the meshes to enable the reconstruction of not only
surface-like structures but also complex geometries such as eyeglasses and
hairstyles. By aligning these points with the head shape in an
analysis-by-synthesis manner, the PMSM makes it possible to utilize 3D Gaussian
for fine detail representation and appearance modeling, thus enabling the
creation of high-fidelity avatars. We show that PSAvatar can reconstruct
high-fidelity head avatars of a variety of subjects and the avatars can be
animated in real-time ($\ge$ 25 fps at a resolution of 512 x 512 )
- Abstract（参考訳）: 多くの進歩にもかかわらず、リアルタイムの高忠実度頭部アバターの作成は依然として困難であり、既存の手法ではスピードと品質のトレードオフが必要となる。
3DMMに基づく手法は、眼鏡やヘアスタイルのような非界面構造をモデル化するのに失敗することが多い。
3d gaussian は幾何学表現と放射場再構成に有望な能力を持つことが証明されているが、3d gaussian はポーズや表現の変化によって生じる頭部形状の変化をモデル化することが困難であるため、頭部アバター作成に3d gaussian を適用することは依然として大きな課題である。
本稿では,離散幾何学的プリミティブを用いてパラメトリックなモーファブル形状モデルを作成し,精細なディテール表現と高忠実度レンダリングに3dガウシアンを用いる,アニメーション可能な頭部アバター作成のための新しいフレームワークpsavatarを提案する。
パラメトリック形状モデル(Parametric morphable shape model)は、3次元表現のメッシュの代わりに点を用いて表現の柔軟性を向上するポイントベース形状モデル(PMSM)である。
PMSMは、最初にFLAMEメッシュを、表面のサンプリングとメッシュのオフによってポイントに変換し、表面のような構造だけでなく、眼鏡やヘアスタイルのような複雑な地形の再構築を可能にする。
これらの点を分析・合成方式で頭部形状と整合させることにより、pmsmは3次元ガウシアンを詳細な表現と外観のモデリングに活用し、高忠実なアバターを作成することができる。
psavatarは多種多様な被写体の高精細な頭部アバターを再現でき、アバターはリアルタイムで(512×512の解像度で25fpsで)アニメーションできる。
関連論文リスト
- Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。
パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。
最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
論文 参考訳（メタデータ） (2024-09-23T00:11:30Z) - GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。
近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。
本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
論文 参考訳（メタデータ） (2024-07-21T06:03:11Z) - SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded
Gaussian Splatting [26.849406891462557]
トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。
SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
論文 参考訳（メタデータ） (2024-03-08T06:28:09Z) - HHAvatar: Gaussian Head Avatar with Dynamic Hairs [27.20228210350169]
動的ヘアモデリングを用いた高忠実度頭部アバターの3次元ガウスアン制御が可能なアバターを提案する。
提案手法は,2K解像度で超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れている。
論文 参考訳（メタデータ） (2023-12-05T11:01:44Z) - GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [41.378083782290545]
本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。
中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。
我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
論文 参考訳（メタデータ） (2023-12-04T17:28:35Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳（メタデータ） (2023-10-04T10:30:24Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-10T19:15:32Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳（メタデータ） (2022-12-16T10:05:31Z) - AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。
提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。
シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
論文 参考訳（メタデータ） (2022-11-26T15:15:45Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。