Fugu-MT 論文翻訳(概要): Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy

論文の概要: Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy

arxiv url: http://arxiv.org/abs/2410.04041v2
Date: Thu, 10 Oct 2024 04:19:18 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 14:30:41.730226
Title: Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy
Title（参考訳）: ハイブリッドNeRFステレオビジョン:内視鏡におけるパイオニア深さ推定と3次元再構成
Authors: Pengcheng Chen, Wenhao Li, Nicole Gunderson, Jeremy Ruthberg, Randall Bly, Waleed M. Abuzeid, Zhenglong Sun, Eric J. Seibel,
Abstract要約: 本稿では3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。提案手法は, 粗いモデルが得られる予備的なNeRF再構成を用いて, 再建された環境内に双眼シーンを生成する。高忠実度深度マップは、現実的な脳ファントムの単眼内視鏡映像から生成される。
参考スコア（独自算出の注目度）: 11.798218793025974
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The 3D reconstruction of the surgical field in minimally invasive endoscopic surgery has posed a formidable challenge when using conventional monocular endoscopes. Existing 3D reconstruction methodologies are frequently encumbered by suboptimal accuracy and limited generalization capabilities. In this study, we introduce an innovative pipeline using Neural Radiance Fields (NeRF) for 3D reconstruction. Our approach utilizes a preliminary NeRF reconstruction that yields a coarse model, then creates a binocular scene within the reconstructed environment, which derives an initial depth map via stereo vision. This initial depth map serves as depth supervision for subsequent NeRF iterations, progressively refining the 3D reconstruction with enhanced accuracy. The binocular depth is iteratively recalculated, with the refinement process continuing until the depth map converges, and exhibits negligible variations. Through this recursive process, high-fidelity depth maps are generated from monocular endoscopic video of a realistic cranial phantom. By repeated measures of the final 3D reconstruction compared to X-ray computed tomography, all differences of relevant clinical distances result in sub-millimeter accuracy.
Abstract（参考訳）: 低侵襲内視鏡手術における手術領域の3次元再構築は,従来の単眼内視鏡を用いた場合,大きな課題となった。既存の3次元再構成手法は、最適下限の精度と限定的な一般化能力によってしばしば強化される。本研究では,3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。提案手法は、粗いモデルが得られる予備的なNeRF再構成を用いて、再建された環境内に双眼シーンを生成し、ステレオビジョンによる初期深度マップを導出する。この初期深度マップは、その後のNeRFイテレーションの深度監視に役立ち、3D再構成の精度を向上して徐々に改善している。両眼深度は反復的に再計算され、深度マップが収束するまで精製プロセスは継続され、無視可能な変動を示す。この再帰的プロセスを通じて、現実的な脳ファントムの単眼内視鏡映像から高忠実度深度マップが生成される。 X線CTと比較し, 最終3次元再構成を繰り返すことで, 関連する臨床距離の差はすべて, サブミリ秒の精度に繋がることがわかった。

関連論文リスト

Advancing Depth Anything Model for Unsupervised Monocular Depth Estimation in Endoscopy [3.1186464715409983]
本稿では,Depth Anything Modelのための新しい微調整戦略を提案する。本手法は本態性に基づく教師なし単眼深度推定フレームワークと統合する。 SCAREDデータセットで得られた結果は,本手法が最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2024-09-12T03:04:43Z)
Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling [42.70053750500301]
本稿では,幾何学的モデリングによる深度推定のための単眼画像のみを用いた新しいスケールアウェアフレームワークを提案する。具体的には、まず、単分子深度推定の品質を高めるための多分解能深度融合戦略を提案する。スケール係数と相対深度推定を結合することにより、単眼内視鏡シーンのスケール認識深度を推定できる。
論文参考訳（メタデータ） (2024-08-14T03:18:04Z)
ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文参考訳（メタデータ） (2024-07-23T14:24:26Z)
High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文参考訳（メタデータ） (2024-04-20T18:06:26Z)
EyeLS: Shadow-Guided Instrument Landing System for Intraocular Target Approaching in Robotic Eye Surgery [51.05595735405451]
ロボット眼科手術(Robotic Ophthalmic surgery)は、網膜下注入における網膜侵入や網膜剥離における浮動組織の除去など、高精度な介入を促進する新しい技術である。現在の画像に基づく手法では、針先端の軌跡を網膜と浮動標的の両方に向けて効果的に推定することはできない。本研究では,ターゲットの影位置と楽器先端を用いて相対的な深度位置を推定する。手術シミュレータでは, 平均深度0.0127mm, 平均深度0.3473mm, 平均深度0.0127mm, 平均深度0.3473mmを目標とした。
論文参考訳（メタデータ） (2023-11-15T09:11:37Z)
A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy from Monocular Endoscopic Video [8.32570164101507]
内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
論文参考訳（メタデータ） (2023-10-22T17:11:40Z)
A geometry-aware deep network for depth estimation in monocular endoscopy [17.425158094539462]
提案手法は,異なるデータセットと臨床画像にまたがって広範囲に検証されている。提案法の平均RMSE値は12.604(T1-L1)、9.930(T2-L2)、13.893(Colon)である。
論文参考訳（メタデータ） (2023-04-20T11:59:32Z)
3D Reconstruction of Curvilinear Structures with Stereo Matching DeepConvolutional Neural Networks [52.710012864395246]
本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
論文参考訳（メタデータ） (2021-10-14T23:05:47Z)
Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文参考訳（メタデータ） (2020-12-16T07:11:16Z)
4D Spatio-Temporal Convolutional Networks for Object Position Estimation in OCT Volumes [69.62333053044712]
3次元畳み込みニューラルネットワーク(CNN)は、単一のOCT画像を用いたマーカーオブジェクトのポーズ推定に有望な性能を示した。我々は3次元CNNを4次元時間CNNに拡張し、マーカーオブジェクト追跡のための追加の時間情報の影響を評価する。
論文参考訳（メタデータ） (2020-07-02T12:02:20Z)
D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry [57.5549733585324]
D3VOは、深度、ポーズ、不確実性推定という3つのレベルでディープネットワークを利用する、単眼の視覚計測のための新しいフレームワークである。まず,ステレオビデオを用いた自己監督型単眼深度推定ネットワークを提案する。入力画像上の画素の光度不確かさをモデル化し、深度推定精度を向上させる。
論文参考訳（メタデータ） (2020-03-02T17:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。