論文の概要: Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian
Splatting
- arxiv url: http://arxiv.org/abs/2401.16416v3
- Date: Sat, 9 Mar 2024 15:21:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 14:31:38.290018
- Title: Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian
Splatting
- Title(参考訳): Endo-4DGS : 4D Gaussian Splatting を用いた内視鏡的単眼画像再構成
- Authors: Yiming Huang and Beilei Cui and Long Bai and Ziqi Guo and Mengya Xu
and Mobarakol Islam and Hongliang Ren
- Abstract要約: 動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
- 参考スコア(独自算出の注目度): 12.951997168433895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of robot-assisted minimally invasive surgery, dynamic scene
reconstruction can significantly enhance downstream tasks and improve surgical
outcomes. Neural Radiance Fields (NeRF)-based methods have recently risen to
prominence for their exceptional ability to reconstruct scenes but are hampered
by slow inference speed, prolonged training, and inconsistent depth estimation.
Some previous work utilizes ground truth depth for optimization but is hard to
acquire in the surgical domain. To overcome these obstacles, we present
Endo-4DGS, a real-time endoscopic dynamic reconstruction approach that utilizes
3D Gaussian Splatting (GS) for 3D representation. Specifically, we propose
lightweight MLPs to capture temporal dynamics with Gaussian deformation fields.
To obtain a satisfactory Gaussian Initialization, we exploit a powerful depth
estimation foundation model, Depth-Anything, to generate pseudo-depth maps as a
geometry prior. We additionally propose confidence-guided learning to tackle
the ill-pose problems in monocular depth estimation and enhance the
depth-guided reconstruction with surface normal constraints and depth
regularization. Our approach has been validated on two surgical datasets, where
it can effectively render in real-time, compute efficiently, and reconstruct
with remarkable accuracy.
- Abstract(参考訳): ロボットによる最小侵襲手術の分野では、動的シーン再構成は下流の作業を大幅に強化し、手術結果を改善することができる。
ニューラル・ラジアンス・フィールド(NeRF)に基づく手法は、最近、シーンを再構成する異常な能力で有名になったが、遅い推論速度、長いトレーニング、一貫性のない深さ推定によって妨げられている。
以前の研究では、最適化のために基底的真理の深さを利用するが、手術領域では取得が困難である。
これらの障害を克服するために,3次元ガウススプラッティング(GS)を3次元表現に用いる実時間内視鏡的動的再構成手法であるEndo-4DGSを提案する。
具体的には,ガウス変形場を用いて時間的ダイナミクスを捉える軽量MLPを提案する。
満足なガウス初期化を得るために、我々は強力な深度推定基盤モデルであるDepth-Anythingを利用して、以前の幾何学として擬似深度マップを生成する。
さらに,単眼深度推定における不適切な問題に対処するための信頼誘導学習を提案し,表面正規化と深度正規化による深度誘導型再構成を強化する。
このアプローチは2つの手術用データセットで検証され、リアルタイムで効果的にレンダリングし、効率的に計算し、驚くべき精度で再構築することができる。
関連論文リスト
- EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian
Splatting [22.090899434775395]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳(メタデータ) (2024-01-21T16:14:04Z) - Exploiting Multiple Priors for Neural 3D Indoor Reconstruction [15.282699095607594]
本研究では,大規模屋内環境の再現性を向上するために,複数の正規化戦略を活用するニューラル暗黙的モデリング手法を提案する。
実験結果から,本手法は屋内の挑戦的なシナリオにおいて最先端の3D再構成を実現することが示唆された。
論文 参考訳(メタデータ) (2023-09-13T15:23:43Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳(メタデータ) (2021-11-19T04:44:27Z) - Self-Supervised Generative Adversarial Network for Depth Estimation in
Laparoscopic Images [13.996932179049978]
本稿では,ジェネレーティブ・ディバイサル・ネットワークに基づく自己教師型深度推定手法であるSADepthを提案する。
エンコーダデコーダジェネレータと、トレーニング中に幾何学的制約を組み込む識別器で構成される。
2つの公開データセットの実験により、SADepthは最新の最先端の教師なし手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2021-07-09T19:40:20Z) - Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer
RGBD Sensors [67.88097893304274]
時間的融合と深い暗黙機能を組み合わせた人間の体積捕獲法を提案する。
トポロジーの整合性とともに深度観測を融合する動的スライディングを提案する。
論文 参考訳(メタデータ) (2021-05-05T04:12:38Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳(メタデータ) (2021-03-07T00:08:21Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳(メタデータ) (2020-12-17T02:35:13Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳(メタデータ) (2020-10-26T15:31:52Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。