論文の概要: GraphAvatar: Compact Head Avatars with GNN-Generated 3D Gaussians
- arxiv url: http://arxiv.org/abs/2412.13983v1
- Date: Wed, 18 Dec 2024 16:05:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:47:50.844776
- Title: GraphAvatar: Compact Head Avatars with GNN-Generated 3D Gaussians
- Title（参考訳）: GraphAvatar:GNNによる3Dガウシアンによる小型ヘッドアバター
- Authors: Xiaobao Wei, Peng Chen, Ming Lu, Hui Chen, Feng Tian,
- Abstract要約: 本稿では,Graph Neural Networks (GNN) を用いて頭部アバターの3次元ガウス生成を行う GraphAvatar 手法を提案する。
提案手法では3次元ガウスモデルの代わりにGNNモデルを格納することができ,ストレージオーバーヘッドを10MBに抑えることができる。
我々は、GraphAvatarの利点を実証するための総合的な実験を行い、既存の視覚的忠実度とストレージ消費の手法を超越した。
- 参考スコア（独自算出の注目度）: 14.420981606586237
- License:
- Abstract: Rendering photorealistic head avatars from arbitrary viewpoints is crucial for various applications like virtual reality. Although previous methods based on Neural Radiance Fields (NeRF) can achieve impressive results, they lack fidelity and efficiency. Recent methods using 3D Gaussian Splatting (3DGS) have improved rendering quality and real-time performance but still require significant storage overhead. In this paper, we introduce a method called GraphAvatar that utilizes Graph Neural Networks (GNN) to generate 3D Gaussians for the head avatar. Specifically, GraphAvatar trains a geometric GNN and an appearance GNN to generate the attributes of the 3D Gaussians from the tracked mesh. Therefore, our method can store the GNN models instead of the 3D Gaussians, significantly reducing the storage overhead to just 10MB. To reduce the impact of face-tracking errors, we also present a novel graph-guided optimization module to refine face-tracking parameters during training. Finally, we introduce a 3D-aware enhancer for post-processing to enhance the rendering quality. We conduct comprehensive experiments to demonstrate the advantages of GraphAvatar, surpassing existing methods in visual fidelity and storage consumption. The ablation study sheds light on the trade-offs between rendering quality and model size. The code will be released at: https://github.com/ucwxb/GraphAvatar
- Abstract（参考訳）: 任意の視点からフォトリアリスティックなヘッドアバターをレンダリングすることは、仮想現実のような様々なアプリケーションに不可欠である。
従来のNeural Radiance Fields (NeRF) に基づく手法では、優れた結果が得られるが、忠実さと効率性が欠如している。
近年, 3D Gaussian Splatting (3DGS) を用いた手法では, レンダリング品質とリアルタイム性能が向上したが, ストレージのオーバーヘッドは大きい。
本稿では,グラフニューラルネットワーク(GNN)を用いた頭部アバターの3次元ガウス生成手法を提案する。
具体的には、GraphAvatarは幾何学的GNNと外観GNNをトレーニングし、追跡メッシュから3Dガウスの属性を生成する。
したがって,本手法では3次元ガウスモデルの代わりにGNNモデルを格納することができ,ストレージオーバーヘッドを10MBに抑えることができる。
また、顔追跡誤差の影響を低減するため、トレーニング中の顔追跡パラメータを洗練するためのグラフ誘導最適化モジュールを提案する。
最後に、レンダリング品質を向上させるために、後処理のための3D対応エンハンサーを導入する。
我々は、GraphAvatarの利点を実証するための総合的な実験を行い、既存の視覚的忠実度とストレージ消費の手法を超越した。
アブレーション調査は、レンダリング品質とモデルサイズの間のトレードオフに光を当てている。
コードは、https://github.com/ucwxb/GraphAvatarでリリースされる。
関連論文リスト
- MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting [38.16397253003339]
高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。
最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。
そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-12-06T11:17:25Z) - Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。
パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。
最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
論文 参考訳（メタデータ） (2024-09-23T00:11:30Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳（メタデータ） (2024-03-18T09:03:56Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。