論文の概要: EndoFlow-SLAM: Real-Time Endoscopic SLAM with Flow-Constrained Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2506.21420v1
- Date: Thu, 26 Jun 2025 16:06:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-27 19:53:10.178285
- Title: EndoFlow-SLAM: Real-Time Endoscopic SLAM with Flow-Constrained Gaussian Splatting
- Title（参考訳）: EndoFlow-SLAM: Flow-Constrained Gaussian Splatting を用いたリアルタイム内視鏡SLAM
- Authors: Taoyu Wu, Yiyi Miao, Zhuoxiao Li, Haocheng Zhao, Kang Dang, Jionglong Su, Limin Yu, Haoang Li,
- Abstract要約: 光学的フローロスを幾何学的制約として導入し、シーンの3次元構造とカメラモーションの両方を効果的に制約する。
さらに,SLAMシステムにおけるシーン表現を改善するために,キーフレームに対応する視点に着目して3DGSの洗練戦略を改善する。
提案手法は,新しい視点合成法とポーズ推定法において,既存の最先端手法よりも優れ,静的かつダイナミックな手術シーンにおいて高い性能を示す。
- 参考スコア（独自算出の注目度）: 7.7956059927002705
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Efficient three-dimensional reconstruction and real-time visualization are critical in surgical scenarios such as endoscopy. In recent years, 3D Gaussian Splatting (3DGS) has demonstrated remarkable performance in efficient 3D reconstruction and rendering. Most 3DGS-based Simultaneous Localization and Mapping (SLAM) methods only rely on the appearance constraints for optimizing both 3DGS and camera poses. However, in endoscopic scenarios, the challenges include photometric inconsistencies caused by non-Lambertian surfaces and dynamic motion from breathing affects the performance of SLAM systems. To address these issues, we additionally introduce optical flow loss as a geometric constraint, which effectively constrains both the 3D structure of the scene and the camera motion. Furthermore, we propose a depth regularisation strategy to mitigate the problem of photometric inconsistencies and ensure the validity of 3DGS depth rendering in endoscopic scenes. In addition, to improve scene representation in the SLAM system, we improve the 3DGS refinement strategy by focusing on viewpoints corresponding to Keyframes with suboptimal rendering quality frames, achieving better rendering results. Extensive experiments on the C3VD static dataset and the StereoMIS dynamic dataset demonstrate that our method outperforms existing state-of-the-art methods in novel view synthesis and pose estimation, exhibiting high performance in both static and dynamic surgical scenes. The source code will be publicly available upon paper acceptance.
- Abstract（参考訳）: 内視鏡などの外科的シナリオでは, 効率的な3次元再構成とリアルタイム可視化が重要である。
近年, 3D Gaussian Splatting (3DGS) は効率的な3D再構成とレンダリングにおいて顕著な性能を示した。
大半の3DGSベースの同時局所マッピング(SLAM)手法は、3DGSとカメラの両方のポーズを最適化するための外観制約にのみ依存している。
しかし、内視鏡的シナリオでは、非ランベルト面による測光的不整合や呼吸からの動的運動がSLAMシステムの性能に影響を及ぼす。
これらの問題に対処するために,光学的フロー損失を幾何学的制約として導入し,シーンの3次元構造とカメラモーションの両方を効果的に制約する。
さらに,光学的不整合を緩和し,内視鏡的シーンにおける3DGS深度レンダリングの有効性を確保するための深度正規化戦略を提案する。
さらに,SLAMシステムにおけるシーン表現を改善するために,鍵フレームに対応する視点に最適化品質のフレームを配置し,より優れたレンダリング結果を得ることにより,3DGSの改良戦略を改良する。
C3VD静的データセットとStereoMIS動的データセットの大規模な実験により、我々の手法は、新しいビュー合成とポーズ推定において既存の最先端手法よりも優れており、静的および動的手術シーンの両方で高い性能を示すことが示された。
ソースコードは、論文の受理時に公開される。
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction [26.358467072736524]
3DGSの拡張であるFeature-EndoGaussian (FEG)を導入し、2Dセグメンテーションキューを3Dレンダリングに統合し、リアルタイムなセマンティックとシーン再構築を実現する。
FEGは先行法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。
論文 参考訳（メタデータ） (2025-03-08T10:50:19Z) - Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping [12.027762278121052]
Endo-2DTAMは2次元ガウススプラッティング(2DGS)を用いたリアルタイム内視鏡SLAMシステムである
私たちのロバストなトラッキングモジュールは、ポイントツーポイントとポイントツープレーン距離のメトリクスを組み合わせています。
マッピングモジュールは, 通常の整合性および深さ歪みを利用して表面再構成品質を向上する。
論文 参考訳（メタデータ） (2025-01-31T17:15:34Z) - SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes [7.590932716513324]
本稿では,3次元ガウス散乱(3DGS)と物理ベースレンダリング(PBR)と変形場を組み合わせた動的特異シーンの再構成手法を提案する。
フォトリアリスティック・リアルワールド・ダイナミック・スペキュラ・シーンを合成できる3DGS法は、現存する唯一のものである。
論文 参考訳（メタデータ） (2024-10-22T17:59:56Z) - Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。