論文の概要: Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping
- arxiv url: http://arxiv.org/abs/2501.19319v1
- Date: Fri, 31 Jan 2025 17:15:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-03 14:00:21.945175
- Title: Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping
- Title（参考訳）: Gassian Splatting-driven Surface Normal-Aware Tracking and Mapping を用いた高密度内視鏡再建術
- Authors: Yiming Huang, Beilei Cui, Long Bai, Zhen Chen, Jinlin Wu, Zhen Li, Hongbin Liu, Hongliang Ren,
- Abstract要約: Endo-2DTAMは2次元ガウススプラッティング(2DGS)を用いたリアルタイム内視鏡SLAMシステムである
私たちのロバストなトラッキングモジュールは、ポイントツーポイントとポイントツープレーン距離のメトリクスを組み合わせています。
マッピングモジュールは, 通常の整合性および深さ歪みを利用して表面再構成品質を向上する。
- 参考スコア（独自算出の注目度）: 12.027762278121052
- License:
- Abstract: Simultaneous Localization and Mapping (SLAM) is essential for precise surgical interventions and robotic tasks in minimally invasive procedures. While recent advancements in 3D Gaussian Splatting (3DGS) have improved SLAM with high-quality novel view synthesis and fast rendering, these systems struggle with accurate depth and surface reconstruction due to multi-view inconsistencies. Simply incorporating SLAM and 3DGS leads to mismatches between the reconstructed frames. In this work, we present Endo-2DTAM, a real-time endoscopic SLAM system with 2D Gaussian Splatting (2DGS) to address these challenges. Endo-2DTAM incorporates a surface normal-aware pipeline, which consists of tracking, mapping, and bundle adjustment modules for geometrically accurate reconstruction. Our robust tracking module combines point-to-point and point-to-plane distance metrics, while the mapping module utilizes normal consistency and depth distortion to enhance surface reconstruction quality. We also introduce a pose-consistent strategy for efficient and geometrically coherent keyframe sampling. Extensive experiments on public endoscopic datasets demonstrate that Endo-2DTAM achieves an RMSE of $1.87\pm 0.63$ mm for depth reconstruction of surgical scenes while maintaining computationally efficient tracking, high-quality visual appearance, and real-time rendering. Our code will be released at github.com/lastbasket/Endo-2DTAM.
- Abstract（参考訳）: 同時局所マッピング (SLAM) は, 手術の精密な介入やロボット作業に必要である。
近年, 3D Gaussian Splatting (3DGS) の進歩により, 高品質な新規ビュー合成と高速レンダリングによりSLAMが向上したが, マルチビューの不整合により, 正確な深度と表面再構成に苦慮している。
SLAMと3DGSを組み合わせるだけで、再構築されたフレーム間のミスマッチが発生する。
本研究では,2次元ガウススプラッティング (2DGS) を用いたリアルタイムSLAMシステムであるendo-2DTAMを提案する。
Endo-2DTAMは、幾何学的に正確な再構築のためのトラッキング、マッピング、バンドル調整モジュールからなる表面正規認識パイプラインを組み込んでいる。
我々の頑健な追跡モジュールは、点間距離と点間距離を組み合わせ、マッピングモジュールは、通常の一貫性と深さ歪みを利用して表面再構成品質を向上させる。
また、効率的かつ幾何学的に整合したキーフレームサンプリングのためのポーズ一貫性戦略も導入する。
公的な内視鏡的データセットに対する大規模な実験により、Endo-2DTAMは、計算効率の良い追跡、高品質な視覚的外観、リアルタイムレンダリングを維持しながら、手術シーンの深度復元のために1.87\pm 0.63$ mmのRMSEを達成している。
私たちのコードはgithub.com/lastbasket/Endo-2DTAMでリリースされます。
関連論文リスト
- GausSurf: Geometry-Guided 3D Gaussian Splatting for Surface Reconstruction [79.42244344704154]
GausSurfは、テクスチャリッチな領域におけるマルチビュー一貫性と、シーンのテクスチャレスな領域における通常の事前の幾何学的ガイダンスを採用している。
本手法は,再現性や計算時間の観点から,最先端の手法を超越した手法である。
論文 参考訳（メタデータ） (2024-11-29T03:54:54Z) - HI-SLAM2: Geometry-Aware Gaussian SLAM for Fast Monocular Scene Reconstruction [38.47566815670662]
HI-SLAM2は、RGB入力のみを用いて高速かつ正確な単眼シーン再構築を実現する幾何学的ガウスSLAMシステムである。
既存のニューラルSLAM法よりも大幅に改善され,RGB-D法を上回り,再現性もレンダリング性も向上した。
論文 参考訳（メタデータ） (2024-11-27T01:39:21Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction [18.074890506856114]
幾何学的精度を向上した手術シーン再構築のための動的3次元ガウススプレイティングフレームワークであるStagementGSを提案する。
提案手法は,まず奥行き先を用いてガウス点雲を初期化し,深度変化の大きい画素を識別するために二元運動マスクを用い,フレーム間の深度マップから点雲を融合して初期化する。
フレキシブル変形モデルを用いて動的シーンを表現し、教師なし深度スムースネス制約とともに正規化深度正規化損失を導入し、より正確な幾何再構成を実現する。
論文 参考訳（メタデータ） (2024-10-11T22:46:46Z) - Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:23:08Z) - SMORE: Simulataneous Map and Object REconstruction [66.66729715211642]
本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。
我々は、世界が厳格に動く物体と背景に分解される動的なシーンの構成モデルを総合的に捉え、最適化する。
論文 参考訳（メタデータ） (2024-06-19T23:53:31Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - Gaussian Splatting SLAM [16.3858380078553]
単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。
我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。
ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
論文 参考訳（メタデータ） (2023-12-11T18:19:04Z) - NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM [111.83168930989503]
NICER-SLAMは、カメラポーズと階層的なニューラル暗黙マップ表現を同時に最適化するRGB SLAMシステムである。
近年のRGB-D SLAMシステムと競合する高密度マッピング,追跡,新しいビュー合成において,高い性能を示す。
論文 参考訳（メタデータ） (2023-02-07T17:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。