論文の概要: GSTAR: Gaussian Surface Tracking and Reconstruction

• arxiv url: http://arxiv.org/abs/2501.10283v2
• Date: Mon, 20 Jan 2025 12:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:52.732726
• Title: GSTAR: Gaussian Surface Tracking and Reconstruction
• Title（参考訳）: GSTAR:ガウスの表面追跡と再構築
• Authors: Chengwei Zheng, Lixin Xue, Juan Zarate, Jie Song,
• Abstract要約: GSTARは、トポロジを変化させた一般的なダイナミックなシーンに対して、フォトリアリスティックなレンダリング、正確な表面再構成、信頼性の高い3Dトラッキングを実現する新しい手法である。 トポロジが変化する地域では、GSTARはガウシアンをメッシュから適応的にアンバインドし、正確な登録と新しい表面の生成を可能にする。 本手法は動的表面を効果的に追跡・再構成し,様々な応用を可能にする。
• 参考スコア（独自算出の注目度）: 9.017056233547084
• License:
• Abstract: 3D Gaussian Splatting techniques have enabled efficient photo-realistic rendering of static scenes. Recent works have extended these approaches to support surface reconstruction and tracking. However, tracking dynamic surfaces with 3D Gaussians remains challenging due to complex topology changes, such as surfaces appearing, disappearing, or splitting. To address these challenges, we propose GSTAR, a novel method that achieves photo-realistic rendering, accurate surface reconstruction, and reliable 3D tracking for general dynamic scenes with changing topology. Given multi-view captures as input, GSTAR binds Gaussians to mesh faces to represent dynamic objects. For surfaces with consistent topology, GSTAR maintains the mesh topology and tracks the meshes using Gaussians. In regions where topology changes, GSTAR adaptively unbinds Gaussians from the mesh, enabling accurate registration and the generation of new surfaces based on these optimized Gaussians. Additionally, we introduce a surface-based scene flow method that provides robust initialization for tracking between frames. Experiments demonstrate that our method effectively tracks and reconstructs dynamic surfaces, enabling a range of applications. Our project page with the code release is available at https://eth-ait.github.io/GSTAR/.
• Abstract（参考訳）: 3次元ガウススプラッティング技術は静的シーンの効率的な写真リアルレンダリングを可能にした。 最近の研究は、表面の再構築と追跡を支援するためにこれらのアプローチを拡張している。 しかし、3Dガウスによる動的曲面の追跡は、表面の出現、消失、分裂といった複雑なトポロジーの変化のために依然として困難である。 これらの課題に対処するために,GSTARを提案する。GSTARは,トポロジを変化させた一般的な動的シーンに対する,写真リアルなレンダリング,正確な表面再構成,信頼性の高い3次元トラッキングを実現する手法である。 マルチビューキャプチャが入力として与えられると、GSTARはGaussianをメッシュフェイスにバインドして動的オブジェクトを表現する。 一貫性のあるトポロジを持つサーフェスでは、GSTARはメッシュトポロジを維持し、Gaussianを使用してメッシュを追跡する。 トポロジーが変化する地域では、GSTARはガウシアンをメッシュから適応的に分離し、これらの最適化されたガウシアンに基づいて正確な登録と新しい表面の生成を可能にする。 さらに,フレーム間のトラッキングに頑健な初期化を実現するための面ベースシーンフロー手法を提案する。 実験により,本手法は動的表面を効果的に追跡・再構成し,様々な応用が可能であることを実証した。 コードリリースに関する私たちのプロジェクトページはhttps://eth-ait.github.io/GSTAR/で公開されています。

関連論文リスト

• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes [30.32214593068206]
  複雑なシーンにおける動的内容と閉塞に対処する時空間2次元ガウス散乱法を提案する。 具体的には、動的シーンにおける幾何学的品質を改善するために、標準2次元ガウススプラットを学習し、これらの2次元ガウススプラットを変形させる。 また, 構成不透明化戦略を導入し, 閉塞領域の表面の回復をさらに抑制する。 実世界のスパースビュービデオデータセットとモノクロダイナミックデータセットの実験は、再構築が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2024-09-27T15:50:36Z)
• DynaSurfGS: Dynamic Surface Reconstruction with Planar-based Gaussian Splatting [13.762831851385227]
  本研究では,動的シナリオのフォトリアリスティックレンダリングと高忠実な表面再構成を実現するためにDynaSurfGSを提案する。 このフレームワークはまず、4Dニューラルボクセルのガウスの特徴をプラナーベースのガウススプラッティングに組み込んで、表面の正確な再構築を容易にする。 また、ARAP(as-rigid-as-possible)制約を組み込んで、時間ステップ間の3Dガウシアン地区の局所的な剛性を維持する。
  論文  参考訳（メタデータ） (2024-08-26T01:36:46Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos [27.531394287148384]
  DG-Mesh(Dynamic Gaussians Mesh)は、単一のモノクロビデオから高忠実で時間に一貫性のあるメッシュを再構築するフレームワークである。 我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。 メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
  論文  参考訳（メタデータ） (2024-04-18T17:58:16Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance [59.08521048003009]
  本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。 3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。 我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
  論文  参考訳（メタデータ） (2023-12-01T07:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。