論文の概要: PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2401.12900v5
• Date: Mon, 24 Jun 2024 02:30:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:22:43.364043
• Title: PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting
• Title（参考訳）: PSAvatar:3次元ガウススプレイティングによるリアルタイム頭部アバターアニメーションのためのポイントベース形状モデル
• Authors: Zhongyuan Zhao, Zhenyu Bao, Qing Li, Guoping Qiu, Kanglin Liu,
• Abstract要約: PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。 詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。 PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
• 参考スコア（独自算出の注目度）: 17.78639236586134
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite much progress, achieving real-time high-fidelity head avatar animation is still difficult and existing methods have to trade-off between speed and quality. 3DMM based methods often fail to model non-facial structures such as eyeglasses and hairstyles, while neural implicit models suffer from deformation inflexibility and rendering inefficiency. Although 3D Gaussian has been demonstrated to possess promising capability for geometry representation and radiance field reconstruction, applying 3D Gaussian in head avatar creation remains a major challenge since it is difficult for 3D Gaussian to model the head shape variations caused by changing poses and expressions. In this paper, we introduce PSAvatar, a novel framework for animatable head avatar creation that utilizes discrete geometric primitive to create a parametric morphable shape model and employs 3D Gaussian for fine detail representation and high fidelity rendering. The parametric morphable shape model is a Point-based Morphable Shape Model (PMSM) which uses points instead of meshes for 3D representation to achieve enhanced representation flexibility. The PMSM first converts the FLAME mesh to points by sampling on the surfaces as well as off the meshes to enable the reconstruction of not only surface-like structures but also complex geometries such as eyeglasses and hairstyles. By aligning these points with the head shape in an analysis-by-synthesis manner, the PMSM makes it possible to utilize 3D Gaussian for fine detail representation and appearance modeling, thus enabling the creation of high-fidelity avatars. We show that PSAvatar can reconstruct high-fidelity head avatars of a variety of subjects and the avatars can be animated in real-time ($\ge$ 25 fps at a resolution of 512 $\times$ 512 ).
• Abstract（参考訳）: 多くの進歩にもかかわらず、リアルタイムの高忠実度アバターアニメーションを実現することは依然として困難であり、既存の手法は速度と品質をトレードオフしなければならない。 3DMMに基づく手法は、眼鏡やヘアスタイルのような非界面構造をモデル化するのに失敗することが多い。 3Dガウスアンは、幾何学的表現や放射場再構成に有望な能力を持っていることが証明されているが、3Dガウスアンを頭部アバターに応用することは、ポーズや表現の変化による頭部形状の変化をモデル化することが困難であるため、大きな課題である。 本稿では、離散幾何的プリミティブを利用してパラメトリックな形状モデルを作成し、3Dガウスを細部表現と高忠実なレンダリングに利用する、アニマタブルな頭部アバター作成のための新しいフレームワークであるPSAvatarを紹介する。 パラメトリック形状モデル(Parametric morphable shape model)は、3次元表現のメッシュの代わりに点を用いて表現の柔軟性を向上するポイントベース形状モデル(PMSM)である。 PMSMは、最初にFLAMEメッシュを、表面のサンプリングとメッシュのオフによってポイントに変換し、表面のような構造だけでなく、眼鏡やヘアスタイルのような複雑な地形の再構築を可能にする。 PMSMはこれらの点を解析的に頭部形状に整合させることにより、3Dガウスを微細な表現と外観モデリングに利用し、高忠実度アバターの作成を可能にする。 PSAvatarは様々な被験者の高忠実度アバターを再構築でき、アバターはリアルタイムでアニメーションできる(512ドル\times$512 の解像度で25 fps)。

関連論文リスト

• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
  トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
  論文  参考訳（メタデータ） (2024-03-08T06:28:09Z)
• MonoGaussianAvatar: Monocular Gaussian Point-based Head Avatar [44.125711148560605]
  モノガウスアバター(MonoGaussian Avatar)は、3次元ガウス点表現とガウス変形場を利用する新しいアプローチである。 実験により, 従来手法の最先端化を図り, 提案手法の優れた性能を実証した。
  論文  参考訳（メタデータ） (2023-12-07T18:59:31Z)
• GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [41.378083782290545]
  本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。 中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。 我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
  論文  参考訳（メタデータ） (2023-12-04T17:28:35Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。