論文の概要: SplatFace: Gaussian Splat Face Reconstruction Leveraging an Optimizable Surface

• arxiv url: http://arxiv.org/abs/2403.18784v3
• Date: Sat, 02 Nov 2024 17:33:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:48.928424
• Title: SplatFace: Gaussian Splat Face Reconstruction Leveraging an Optimizable Surface
• Title（参考訳）: SplatFace: 最適表面を利用したガウスのスプラッター顔復元
• Authors: Jiahao Luo, Jing Liu, James Davis,
• Abstract要約: SplatFaceは3次元人間の顔再構成のための新しいガウススプレイティングフレームワークであり、正確な事前決定幾何に依存しない。 本手法は,高品質な新規ビューレンダリングと高精度な3Dメッシュ再構成の両方を同時に実現するように設計されている。
• 参考スコア（独自算出の注目度）: 7.052369521411523
• License:
• Abstract: We present SplatFace, a novel Gaussian splatting framework designed for 3D human face reconstruction without reliance on accurate pre-determined geometry. Our method is designed to simultaneously deliver both high-quality novel view rendering and accurate 3D mesh reconstructions. We incorporate a generic 3D Morphable Model (3DMM) to provide a surface geometric structure, making it possible to reconstruct faces with a limited set of input images. We introduce a joint optimization strategy that refines both the Gaussians and the morphable surface through a synergistic non-rigid alignment process. A novel distance metric, splat-to-surface, is proposed to improve alignment by considering both the Gaussian position and covariance. The surface information is also utilized to incorporate a world-space densification process, resulting in superior reconstruction quality. Our experimental analysis demonstrates that the proposed method is competitive with both other Gaussian splatting techniques in novel view synthesis and other 3D reconstruction methods in producing 3D face meshes with high geometric precision.
• Abstract（参考訳）: SplatFaceは3次元人間の顔再構成のための新しいガウススプレイティングフレームワークであり、正確な事前決定幾何に依存しない。 本手法は,高品質な新規ビューレンダリングと高精度な3Dメッシュ再構成の両方を同時に実現するように設計されている。 本研究では,3次元形態モデル(3DMM)を組み込んで表面幾何学的構造を提供し,入力画像の限られたセットで顔の再構成を可能にする。 我々は,相乗的非剛性アライメントプロセスを通じて,ガウス面と変形面の両方を洗練させる共同最適化戦略を導入する。 ガウス位置と共分散の両方を考慮することによりアライメントを改善するために,新しい距離計量であるスプラ・トゥ・サーフェス(splat-to- Surface)を提案する。 表面情報は、世界空間の密度化プロセスを統合するためにも利用され、より優れた再構成品質が得られる。 提案手法は,新しいビュー合成における他のガウススプラッティング手法と,幾何学的精度の高い3次元顔メッシュの作成において,他の3次元再構成手法と競合することを示す。

関連論文リスト

• GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering [69.67264955234494]
  GeoSplattingは、3DGSを明示的な幾何学的ガイダンスと微分可能なPBR方程式で拡張する新しいハイブリッド表現である。 多様なデータセットにわたる総合的な評価は、GeoSplattingの優位性を示している。
  論文  参考訳（メタデータ） (2024-10-31T17:57:07Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
  3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。 本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。 私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
  論文  参考訳（メタデータ） (2024-04-02T10:13:18Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
  単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。 本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。 実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
  論文  参考訳（メタデータ） (2024-03-15T12:24:36Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance [59.08521048003009]
  本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。 3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。 我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
  論文  参考訳（メタデータ） (2023-12-01T07:04:47Z)
• HR-NeuS: Recovering High-Frequency Surface Geometry via Neural Implicit Surfaces [6.382138631957651]
  我々は新しい暗黙表面再構成法であるHigh-Resolution NeuSを提案する。 HR-NeuSは大規模な再構成精度を維持しながら高周波表面形状を復元する。 我々は,DTUおよびBlendedMVSデータセットを用いた実験により,従来の手法と同等の精度で定性的に詳細かつ定量的な3次元測地を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-02-14T02:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。