論文の概要: Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos
- arxiv url: http://arxiv.org/abs/2404.12379v1
- Date: Thu, 18 Apr 2024 17:58:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 11:52:23.139723
- Title: Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos
- Title（参考訳）: ダイナミックガウスメッシュ:モノクロビデオからの一貫性のあるメッシュ再構成
- Authors: Isabella Liu, Hao Su, Xiaolong Wang,
- Abstract要約: DG-Mesh(Dynamic Gaussians Mesh)は、単一のモノクロビデオから高忠実で時間に一貫性のあるメッシュを再構築するフレームワークである。
我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。
メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
- 参考スコア（独自算出の注目度）: 27.531394287148384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern 3D engines and graphics pipelines require mesh as a memory-efficient representation, which allows efficient rendering, geometry processing, texture editing, and many other downstream operations. However, it is still highly difficult to obtain high-quality mesh in terms of structure and detail from monocular visual observations. The problem becomes even more challenging for dynamic scenes and objects. To this end, we introduce Dynamic Gaussians Mesh (DG-Mesh), a framework to reconstruct a high-fidelity and time-consistent mesh given a single monocular video. Our work leverages the recent advancement in 3D Gaussian Splatting to construct the mesh sequence with temporal consistency from a video. Building on top of this representation, DG-Mesh recovers high-quality meshes from the Gaussian points and can track the mesh vertices over time, which enables applications such as texture editing on dynamic objects. We introduce the Gaussian-Mesh Anchoring, which encourages evenly distributed Gaussians, resulting better mesh reconstruction through mesh-guided densification and pruning on the deformed Gaussians. By applying cycle-consistent deformation between the canonical and the deformed space, we can project the anchored Gaussian back to the canonical space and optimize Gaussians across all time frames. During the evaluation on different datasets, DG-Mesh provides significantly better mesh reconstruction and rendering than baselines.
- Abstract（参考訳）: 現代の3Dエンジンとグラフィックスパイプラインは、効率的なレンダリング、幾何処理、テクスチャ編集、その他多くの下流操作を可能にするメモリ効率のよい表現としてメッシュを必要とする。
しかし、単眼の視覚的観察から構造や細部の観点からは、高品質なメッシュを得ることは依然として困難である。
動的なシーンやオブジェクトでは、この問題はさらに難しくなります。
この目的のために、単一のモノクロビデオから高忠実かつ時間一貫性のあるメッシュを再構築するフレームワークであるDynamic Gaussians Mesh (DG-Mesh)を紹介した。
我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。
この表現の上に構築されたDG-Meshは、ガウス点から高品質なメッシュを復元し、時間とともにメッシュ頂点を追跡することができるため、動的オブジェクトのテクスチャ編集などのアプリケーションが可能になる。
メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
正準空間と変形空間の間のサイクル一貫性の変形を適用することにより、固定されたガウスを正準空間に投影し、すべての時間フレームにわたってガウスを最適化することができる。
異なるデータセットの評価の間、DG-Meshはベースラインよりもはるかに優れたメッシュ再構成とレンダリングを提供する。
関連論文リスト
- MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。
各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。
提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
論文 参考訳（メタデータ） (2024-10-11T16:07:59Z) - GSFusion: Online RGB-D Mapping Where Gaussian Splatting Meets TSDF Fusion [12.964675001994124]
従来の融合アルゴリズムは3次元シーンの空間構造を保存する。
ヴィジュアライゼーションの面では現実主義を欠いていることが多い。
GSFusionはレンダリング品質を犠牲にすることなく計算効率を大幅に向上させる。
論文 参考訳（メタデータ） (2024-08-22T18:32:50Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting [27.081250446161114]
本稿では,この課題に対処するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。
MaGSは、3Dガウス人がメッシュの近くで歩き回ることを制約し、相互に吸着されたメッシュ-ガウスの3D表現を生成する。
このような表現は、3Dガウスのレンダリングの柔軟性とメッシュの構造的特性の両方を利用する。
論文 参考訳（メタデータ） (2024-06-03T17:59:51Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting [82.29476781526752]
高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。
GaussianObjectは、Gaussian splattingで3Dオブジェクトを表現してレンダリングするフレームワークで、4つの入力イメージだけで高いレンダリング品質を実現する。
GaussianObjectは、MipNeRF360、OmniObject3D、OpenIllumination、および私たちが収集した未提示画像など、いくつかの挑戦的なデータセットで評価されている。
論文 参考訳（メタデータ） (2024-02-15T18:42:33Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
論文 参考訳（メタデータ） (2023-12-01T17:09:31Z) - SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh
Reconstruction and High-Quality Mesh Rendering [24.91019554830571]
本稿では,3次元ガウス格子から高精度かつ極めて高速なメッシュ抽出を可能にする手法を提案する。
しかし、これらのガウス人は最適化後に非組織化される傾向があるため、何百万もの小さな3Dガウスからメッシュを抽出することは困難である。
論文 参考訳（メタデータ） (2023-11-21T18:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。