論文の概要: SVG-Head: Hybrid Surface-Volumetric Gaussians for High-Fidelity Head Reconstruction and Real-Time Editing
- arxiv url: http://arxiv.org/abs/2508.09597v2
- Date: Fri, 15 Aug 2025 11:44:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 12:50:03.090811
- Title: SVG-Head: Hybrid Surface-Volumetric Gaussians for High-Fidelity Head Reconstruction and Real-Time Editing
- Title(参考訳): SVGヘッド:高忠実度頭部再構成とリアルタイム編集のためのハイブリッド表面Volumetric Gaussian
- Authors: Heyi Sun, Cong Wang, Tian-Xing Xu, Jingwei Huang, Di Kang, Chunchao Guo, Song-Hai Zhang,
- Abstract要約: Surface-Volumetric Gaussian Head Avatar (SVG-Head) は、FLAMEメッシュ上に有界な3Dガウスの幾何学を明示的にモデル化する新しいハイブリッド表現である。
3次元世界とテクスチャ空間の対応性をモデル化するため,メッシュ対応ガウスUVマッピング法を提案する。
NeRSembleデータセットの実験では、SVG-Headは高忠実なレンダリング結果を生成するだけでなく、ガウスの頭アバターの明示的なテクスチャ画像を得るための最初の方法でもある。
- 参考スコア(独自算出の注目度): 26.400512371742096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating high-fidelity and editable head avatars is a pivotal challenge in computer vision and graphics, boosting many AR/VR applications. While recent advancements have achieved photorealistic renderings and plausible animation, head editing, especially real-time appearance editing, remains challenging due to the implicit representation and entangled modeling of the geometry and global appearance. To address this, we propose Surface-Volumetric Gaussian Head Avatar (SVG-Head), a novel hybrid representation that explicitly models the geometry with 3D Gaussians bound on a FLAME mesh and leverages disentangled texture images to capture the global appearance. Technically, it contains two types of Gaussians, in which surface Gaussians explicitly model the appearance of head avatars using learnable texture images, facilitating real-time texture editing, while volumetric Gaussians enhance the reconstruction quality of non-Lambertian regions (e.g., lips and hair). To model the correspondence between 3D world and texture space, we provide a mesh-aware Gaussian UV mapping method, which leverages UV coordinates given by the FLAME mesh to obtain sharp texture images and real-time rendering speed. A hierarchical optimization strategy is further designed to pursue the optimal performance in both reconstruction quality and editing flexibility. Experiments on the NeRSemble dataset show that SVG-Head not only generates high-fidelity rendering results, but also is the first method to obtain explicit texture images for Gaussian head avatars and support real-time appearance editing.
- Abstract(参考訳): 高忠実で編集可能なヘッドアバターを作成することは、コンピュータビジョンとグラフィックスにおいて重要な課題であり、多くのAR/VRアプリケーションを促進する。
最近の進歩はフォトリアリスティックなレンダリングとプラウチブルなアニメーションを達成しているが、頭部編集、特にリアルタイムな外観編集は、幾何とグローバルな外観の暗黙の表現と絡み合ったモデリングのため、依然として困難である。
そこで本研究では, FLAMEメッシュ上に有界な3次元ガウスの形状を明示的にモデル化し, ゆがんだテクスチャ画像を利用してグローバルな外観を捉えるハイブリッド表現であるSurface-Volumetric Gaussian Head Avatar (SVG-Head)を提案する。
技術的には、ガウス人が学習可能なテクスチャ画像を用いて頭部アバターの外観を明示的にモデル化し、リアルタイムなテクスチャ編集を容易にするのに対し、ガウス人は非ラトビア地域(例えば、唇、毛髪)の再構築の質を高める。
3次元世界とテクスチャ空間の対応性をモデル化するために,FLAMEメッシュの紫外線座標を利用して,シャープなテクスチャ画像とリアルタイムレンダリング速度を得るメッシュ対応ガウスUVマッピング法を提案する。
階層的最適化戦略は、再構成品質と編集の柔軟性の両方において最適な性能を追求するためにさらに設計されている。
NeRSembleデータセットの実験では、SVG-Headは高忠実なレンダリング結果を生成するだけでなく、ガウスの頭アバターの明示的なテクスチャ画像を取得し、リアルタイムの外観編集をサポートする最初の方法でもある。
関連論文リスト
- MoGaFace: Momentum-Guided and Texture-Aware Gaussian Avatars for Consistent Facial Geometry [3.0373043721834163]
MoGaFaceは、顔の形状とテクスチャ特性を継続的に洗練する、3Dヘッドアバターモデリングフレームワークである。
MoGaFaceは高忠実な頭部アバター再構成を実現し、新規な合成品質を著しく向上させる。
論文 参考訳(メタデータ) (2025-08-02T06:25:51Z) - TeGA: Texture Space Gaussian Avatars for High-Resolution Dynamic Head Modeling [52.87836237427514]
フォトリアルアバターは、テレプレゼンス、拡張現実、エンターテイメントにおける新興アプリケーションにおいて重要な要素であると見なされている。
本稿では,最先端の3Dヘッドアバターモデルを提案する。
論文 参考訳(メタデータ) (2025-05-08T22:10:27Z) - Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。
本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。
提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
論文 参考訳(メタデータ) (2024-12-26T10:10:03Z) - MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing [34.31657241047574]
より適切な表現で異なるヘッドコンポーネントをモデル化するハイブリッドメッシュ・ガウスヘッドアバター(MeGA)を提案する。
MeGAは、ヘッド全体の高忠実度レンダリングを生成し、自然に下流タスクをサポートする。
NeRSembleデータセットの実験は、我々の設計の有効性を実証している。
論文 参考訳(メタデータ) (2024-04-29T18:10:12Z) - Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。
UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。
モデル化された結果が最先端のアプローチを上回る実験を行ないました。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing [79.10630153776759]
3Dガウススプラッティングは画期的なアプローチとして登場し、高忠実度再構成とリアルタイムレンダリングの能力に注目が集まっている。
そこで我々は,テクスチャ-GSという新しいアプローチを提案し,その外観を3次元表面上にマッピングされた2次元テクスチャとして表現することで幾何学から切り離す。
提案手法は,高精細な外観の編集を容易にするだけでなく,コンシューマレベルのデバイス上でのリアルタイムレンダリングも実現している。
論文 参考訳(メタデータ) (2024-03-15T06:42:55Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:30:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。