論文の概要: Endo-4DGS: Distilling Depth Ranking for Endoscopic Monocular Scene
Reconstruction with 4D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2401.16416v1
- Date: Mon, 29 Jan 2024 18:55:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 13:29:46.300719
- Title: Endo-4DGS: Distilling Depth Ranking for Endoscopic Monocular Scene
Reconstruction with 4D Gaussian Splatting
- Title(参考訳): Endo-4DGS : 4Dガウス切開による内視鏡的単眼切開術
- Authors: Yiming Huang and Beilei Cui and Long Bai and Ziqi Guo and Mengya Xu
and Hongliang Ren
- Abstract要約: 動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,革新的でリアルタイムな動的再構成手法であるEndo-4DGSを提案する。
- 参考スコア(独自算出の注目度): 8.562827023129111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of robot-assisted minimally invasive surgery, dynamic scene
reconstruction can significantly enhance downstream tasks and improve surgical
outcomes. Neural Radiance Fields (NeRF)-based methods have recently risen to
prominence for their exceptional ability to reconstruct scenes. Nonetheless,
these methods are hampered by slow inference, prolonged training, and
substantial computational demands. Additionally, some rely on stereo depth
estimation, which is often infeasible due to the high costs and logistical
challenges associated with stereo cameras. Moreover, the monocular
reconstruction quality for deformable scenes is currently inadequate. To
overcome these obstacles, we present Endo-4DGS, an innovative, real-time
endoscopic dynamic reconstruction approach that utilizes 4D Gaussian Splatting
(GS) and requires no ground truth depth data. This method extends 3D GS by
incorporating a temporal component and leverages a lightweight MLP to capture
temporal Gaussian deformations. This effectively facilitates the reconstruction
of dynamic surgical scenes with variable conditions. We also integrate
Depth-Anything to generate pseudo-depth maps from monocular views, enhancing
the depth-guided reconstruction process. Our approach has been validated on two
surgical datasets, where it has proven to render in real-time, compute
efficiently, and reconstruct with remarkable accuracy. These results underline
the vast potential of Endo-4DGS to improve surgical assistance.
- Abstract(参考訳): ロボットによる最小侵襲手術の分野では、動的シーン再構成は下流の作業を大幅に強化し、手術結果を改善することができる。
ニューラル・ラジアンス・フィールド(NeRF)をベースとした手法は、最近、シーンを再構成する異常な能力で有名になった。
それでもこれらの手法は、遅い推論、長い訓練、そしてかなりの計算要求によって妨げられている。
さらに、ステレオカメラに関連する高いコストと物流上の課題のためにしばしば実現不可能となるステレオ深度推定に依存するものもある。
また,現在,変形可能なシーンの単眼的再現性は不十分である。
これらの障害を克服するために,4次元ガウススプラッティング(GS)を利用して地上の真理深度データを必要としない,革新的でリアルタイムな動的再構成手法であるEndo-4DGSを提案する。
時間成分を組み込んで3次元GSを拡張し、軽量のMLPを利用して時相ガウス変形を捉える。
これにより,動的手術シーンの再現が容易になる。
また,Depth-Anythingを統合して,モノクラービューから擬似深度マップを生成し,深度誘導再構成プロセスを強化する。
提案手法は, リアルタイムにレンダリングし, 効率よく計算し, 顕著な精度で再構成できることが証明された2つの外科的データセットで検証されている。
これらの結果は、外科的補助を改善するためのEndo-4DGSの大きな可能性を示している。
関連論文リスト
- High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳(メタデータ) (2024-01-23T08:44:26Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian
Splatting [22.090899434775395]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳(メタデータ) (2024-01-21T16:14:04Z) - Exploiting Multiple Priors for Neural 3D Indoor Reconstruction [15.282699095607594]
本研究では,大規模屋内環境の再現性を向上するために,複数の正規化戦略を活用するニューラル暗黙的モデリング手法を提案する。
実験結果から,本手法は屋内の挑戦的なシナリオにおいて最先端の3D再構成を実現することが示唆された。
論文 参考訳(メタデータ) (2023-09-13T15:23:43Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳(メタデータ) (2021-11-19T04:44:27Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳(メタデータ) (2021-03-07T00:08:21Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳(メタデータ) (2020-12-17T02:35:13Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳(メタデータ) (2020-10-26T15:31:52Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。