論文の概要: Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture
- arxiv url: http://arxiv.org/abs/2406.00440v2
- Date: Mon, 1 Jul 2024 14:15:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 13:50:34.224183
- Title: Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture
- Title(参考訳): Topo4D:高忠実4Dヘッドキャプチャのためのトポロジー保存型ガウススプラッティング
- Authors: Xuanchen Li, Yuhao Cheng, Xingyu Ren, Haozhe Jia, Di Xu, Wenhan Zhu, Yichao Yan,
- Abstract要約: 自動幾何およびテクスチャ生成のための新しいフレームワークであるTopo4Dを提案する。
まず、時系列面を固定位相を持つ動的3次元ガウス面の集合として表現する。
次に、高品質な幾何学とテクスチャ学習のためのフレーム・バイ・フレームの代替的な幾何学とテクスチャ最適化を行う。
- 参考スコア(独自算出の注目度): 8.21159633722483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 4D head capture aims to generate dynamic topological meshes and corresponding texture maps from videos, which is widely utilized in movies and games for its ability to simulate facial muscle movements and recover dynamic textures in pore-squeezing. The industry often adopts the method involving multi-view stereo and non-rigid alignment. However, this approach is prone to errors and heavily reliant on time-consuming manual processing by artists. To simplify this process, we propose Topo4D, a novel framework for automatic geometry and texture generation, which optimizes densely aligned 4D heads and 8K texture maps directly from calibrated multi-view time-series images. Specifically, we first represent the time-series faces as a set of dynamic 3D Gaussians with fixed topology in which the Gaussian centers are bound to the mesh vertices. Afterward, we perform alternative geometry and texture optimization frame-by-frame for high-quality geometry and texture learning while maintaining temporal topology stability. Finally, we can extract dynamic facial meshes in regular wiring arrangement and high-fidelity textures with pore-level details from the learned Gaussians. Extensive experiments show that our method achieves superior results than the current SOTA face reconstruction methods both in the quality of meshes and textures. Project page: https://xuanchenli.github.io/Topo4D/.
- Abstract(参考訳): 4Dヘッドキャプチャーは、動画から動的トポロジカルメッシュとそれに対応するテクスチャマップを生成することを目的としており、映画やゲームで広く利用されている。
業界はしばしば多視点ステレオと非剛性アライメントを含む手法を採用する。
しかし、このアプローチはエラーを起こしやすく、アーティストによる時間を要する手作業の処理に大きく依存する。
このプロセスを簡略化するために,キャリブレーションされたマルチビュー時系列画像から直接,密集した4Dヘッドと8Kテクスチャマップを最適化する,自動幾何およびテクスチャ生成のための新しいフレームワークであるTopo4Dを提案する。
具体的には、まず時系列面を、ガウス中心がメッシュ頂点に結合する固定位相を持つ動的3次元ガウス面の集合として表現する。
その後、時間的トポロジー安定性を維持しつつ、高品質な幾何学とテクスチャ学習のための代替幾何学とテクスチャ最適化フレームをフレーム単位で実行した。
最後に、学習したガウシアンから、規則的な配線配列と高忠実度テクスチャの動的顔メッシュを細孔レベルの詳細で抽出することができる。
本手法はメッシュの質とテクスチャの両面で,現在のSOTA顔再構成法よりも優れた結果が得られることを示す。
プロジェクトページ: https://xuanchenli.github.io/Topo4D/。
関連論文リスト
- CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner [34.78919665494048]
CraftsManは、非常に多様な形状、通常のメッシュトポロジ、詳細な表面を持つ高忠実な3Dジオメトリを生成することができる。
本手法は,従来の方法に比べて高品質な3Dアセットの製作に有効である。
論文 参考訳(メタデータ) (2024-05-23T18:30:12Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳(メタデータ) (2023-12-28T17:16:44Z) - SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion
Priors [49.03627933561738]
SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。
SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
論文 参考訳(メタデータ) (2023-11-28T22:49:57Z) - Mesh2Tex: Generating Mesh Textures from Image Queries [45.32242590651395]
特に、実際の物体の画像からのテクスチャ化されたステージテクスチャは、実際の画像観察と一致する。
本稿では,非相関な3次元オブジェクト形状のコレクションからオブジェクト形状を学習するMesh2Texを紹介する。
論文 参考訳(メタデータ) (2023-04-12T13:58:25Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。
第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。
本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
論文 参考訳(メタデータ) (2022-03-17T14:50:52Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳(メタデータ) (2020-12-30T23:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。