論文の概要: Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture

• arxiv url: http://arxiv.org/abs/2406.00440v1
• Date: Sat, 1 Jun 2024 13:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:05:16.052269
• Title: Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture
• Title（参考訳）: Topo4D:高忠実4Dヘッドキャプチャのためのトポロジー保存型ガウススプラッティング
• Authors: X. Li, Y. Cheng, X. Ren, H. Jia, D. Xu, W. Zhu, Y. Yan,
• Abstract要約: 自動幾何およびテクスチャ生成のための新しいフレームワークであるTopo4Dを提案する。 まず、時系列面を固定位相を持つ動的3次元ガウス面の集合として表現する。 次に、高品質な幾何学とテクスチャ学習のためのフレーム・バイ・フレームの代替的な幾何学とテクスチャ最適化を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D head capture aims to generate dynamic topological meshes and corresponding texture maps from videos, which is widely utilized in movies and games for its ability to simulate facial muscle movements and recover dynamic textures in pore-squeezing. The industry often adopts the method involving multi-view stereo and non-rigid alignment. However, this approach is prone to errors and heavily reliant on time-consuming manual processing by artists. To simplify this process, we propose Topo4D, a novel framework for automatic geometry and texture generation, which optimizes densely aligned 4D heads and 8K texture maps directly from calibrated multi-view time-series images. Specifically, we first represent the time-series faces as a set of dynamic 3D Gaussians with fixed topology in which the Gaussian centers are bound to the mesh vertices. Afterward, we perform alternative geometry and texture optimization frame-by-frame for high-quality geometry and texture learning while maintaining temporal topology stability. Finally, we can extract dynamic facial meshes in regular wiring arrangement and high-fidelity textures with pore-level details from the learned Gaussians. Extensive experiments show that our method achieves superior results than the current SOTA face reconstruction methods both in the quality of meshes and textures. Project page: https://xuanchenli.github.io/Topo4D/.
• Abstract（参考訳）: 4Dヘッドキャプチャーは、動画から動的トポロジカルメッシュとそれに対応するテクスチャマップを生成することを目的としており、映画やゲームで広く利用されている。 業界はしばしば多視点ステレオと非剛性アライメントを含む手法を採用する。 しかし、このアプローチはエラーを起こしやすく、アーティストによる時間を要する手作業の処理に大きく依存する。 このプロセスを簡略化するために,キャリブレーションされたマルチビュー時系列画像から直接,密集した4Dヘッドと8Kテクスチャマップを最適化する,自動幾何およびテクスチャ生成のための新しいフレームワークであるTopo4Dを提案する。 具体的には、まず時系列面を、ガウス中心がメッシュ頂点に結合する固定位相を持つ動的3次元ガウス面の集合として表現する。 その後、時間的トポロジー安定性を維持しつつ、高品質な幾何学とテクスチャ学習のための代替幾何学とテクスチャ最適化フレームをフレーム単位で実行した。 最後に、学習したガウシアンから、規則的な配線配列と高忠実度テクスチャの動的顔メッシュを細孔レベルの詳細で抽出することができる。 本手法はメッシュの質とテクスチャの両面で,現在のSOTA顔再構成法よりも優れた結果が得られることを示す。 プロジェクトページ: https://xuanchenli.github.io/Topo4D/。

関連論文リスト

• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• CraftsMan: High-fidelity Mesh Generation with 3D Native Generation and Interactive Geometry Refiner [34.78919665494048]
  CraftsManは、非常に多様な形状、通常のメッシュトポロジ、詳細な表面を持つ高忠実な3Dジオメトリを生成することができる。 本手法は,従来の方法に比べて高品質な3Dアセットの製作に有効である。
  論文  参考訳（メタデータ） (2024-05-23T18:30:12Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
  DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。 我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。 ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
  論文  参考訳（メタデータ） (2023-12-28T17:16:44Z)
• SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
  SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-28T22:49:57Z)
• Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
  本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。 第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。 本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-03-17T14:50:52Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。