論文の概要: PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2401.12900v5
• Date: Mon, 24 Jun 2024 02:30:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:22:43.364043
• Title: PSAvatar: A Point-based Shape Model for Real-Time Head Avatar Animation with 3D Gaussian Splatting
• Title（参考訳）: PSAvatar:3次元ガウススプレイティングによるリアルタイム頭部アバターアニメーションのためのポイントベース形状モデル
• Authors: Zhongyuan Zhao, Zhenyu Bao, Qing Li, Guoping Qiu, Kanglin Liu,
• Abstract要約: PSAvatarは、アニマタブルヘッドアバター作成のための新しいフレームワークである。 詳細な表現と高忠実度レンダリングに3D Gaussian を使用している。 PSAvatarは多種多様な被験者の高忠実度頭部アバターを再構築でき、リアルタイムでアバターをアニメーションできることを示す。
• 参考スコア（独自算出の注目度）: 17.78639236586134
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite much progress, achieving real-time high-fidelity head avatar animation is still difficult and existing methods have to trade-off between speed and quality. 3DMM based methods often fail to model non-facial structures such as eyeglasses and hairstyles, while neural implicit models suffer from deformation inflexibility and rendering inefficiency. Although 3D Gaussian has been demonstrated to possess promising capability for geometry representation and radiance field reconstruction, applying 3D Gaussian in head avatar creation remains a major challenge since it is difficult for 3D Gaussian to model the head shape variations caused by changing poses and expressions. In this paper, we introduce PSAvatar, a novel framework for animatable head avatar creation that utilizes discrete geometric primitive to create a parametric morphable shape model and employs 3D Gaussian for fine detail representation and high fidelity rendering. The parametric morphable shape model is a Point-based Morphable Shape Model (PMSM) which uses points instead of meshes for 3D representation to achieve enhanced representation flexibility. The PMSM first converts the FLAME mesh to points by sampling on the surfaces as well as off the meshes to enable the reconstruction of not only surface-like structures but also complex geometries such as eyeglasses and hairstyles. By aligning these points with the head shape in an analysis-by-synthesis manner, the PMSM makes it possible to utilize 3D Gaussian for fine detail representation and appearance modeling, thus enabling the creation of high-fidelity avatars. We show that PSAvatar can reconstruct high-fidelity head avatars of a variety of subjects and the avatars can be animated in real-time ($\ge$ 25 fps at a resolution of 512 $\times$ 512 ).
• Abstract（参考訳）: 多くの進歩にもかかわらず、リアルタイムの高忠実度アバターアニメーションを実現することは依然として困難であり、既存の手法は速度と品質をトレードオフしなければならない。 3DMMに基づく手法は、眼鏡やヘアスタイルのような非界面構造をモデル化するのに失敗することが多い。 3Dガウスアンは、幾何学的表現や放射場再構成に有望な能力を持っていることが証明されているが、3Dガウスアンを頭部アバターに応用することは、ポーズや表現の変化による頭部形状の変化をモデル化することが困難であるため、大きな課題である。 本稿では、離散幾何的プリミティブを利用してパラメトリックな形状モデルを作成し、3Dガウスを細部表現と高忠実なレンダリングに利用する、アニマタブルな頭部アバター作成のための新しいフレームワークであるPSAvatarを紹介する。 パラメトリック形状モデル(Parametric morphable shape model)は、3次元表現のメッシュの代わりに点を用いて表現の柔軟性を向上するポイントベース形状モデル(PMSM)である。 PMSMは、最初にFLAMEメッシュを、表面のサンプリングとメッシュのオフによってポイントに変換し、表面のような構造だけでなく、眼鏡やヘアスタイルのような複雑な地形の再構築を可能にする。 PMSMはこれらの点を解析的に頭部形状に整合させることにより、3Dガウスを微細な表現と外観モデリングに利用し、高忠実度アバターの作成を可能にする。 PSAvatarは様々な被験者の高忠実度アバターを再構築でき、アバターはリアルタイムでアニメーションできる(512ドル\times$512 の解像度で25 fps)。

関連論文リスト

• PrismAvatar: Real-time animated 3D neural head avatars on edge devices [2.446672595462589]
  資源制約のあるエッジデバイス上でリアルタイムのアニメーションとレンダリングを可能にするように設計された3DヘッドアバターモデルであるPrismAvatarを提案する。 モバイルデバイスでのメモリ使用率の低い60fpsで動作することに加えて、トレーニングされたモデルでは、デスクトップデバイス上での最先端の3Dアバターモデルに匹敵する品質が得られます。
  論文  参考訳（メタデータ） (2025-02-10T20:50:12Z)
• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
  トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
  論文  参考訳（メタデータ） (2024-03-08T06:28:09Z)
• HHAvatar: Gaussian Head Avatar with Dynamic Hairs [27.20228210350169]
  動的ヘアモデリングを用いた高忠実度頭部アバターの3次元ガウスアン制御が可能なアバターを提案する。 提案手法は,2K解像度で超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れている。
  論文  参考訳（メタデータ） (2023-12-05T11:01:44Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
  PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。 提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
  論文  参考訳（メタデータ） (2022-12-16T10:05:31Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。