論文の概要: Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy

• arxiv url: http://arxiv.org/abs/2410.04041v1
• Date: Thu, 10 Oct 2024 04:19:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 14:30:41.733964
• Title: Hybrid NeRF-Stereo Vision: Pioneering Depth Estimation and 3D Reconstruction in Endoscopy
• Title（参考訳）: ハイブリッドNeRFステレオビジョン:内視鏡におけるパイオニア深さ推定と3次元再構成
• Authors: Pengcheng Chen, Wenhao Li, Nicole Gunderson, Jeremy Ruthberg, Randall Bly, Waleed M. Abuzeid, Zhenglong Sun, Eric J. Seibel,
• Abstract要約: 本稿では3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。 提案手法は, 粗いモデルが得られる予備的なNeRF再構成を用いて, 再建された環境内に双眼シーンを生成する。 高忠実度深度マップは、現実的な脳ファントムの単眼内視鏡映像から生成される。
• 参考スコア（独自算出の注目度）: 11.798218793025974
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The 3D reconstruction of the surgical field in minimally invasive endoscopic surgery has posed a formidable challenge when using conventional monocular endoscopes. Existing 3D reconstruction methodologies are frequently encumbered by suboptimal accuracy and limited generalization capabilities. In this study, we introduce an innovative pipeline using Neural Radiance Fields (NeRF) for 3D reconstruction. Our approach utilizes a preliminary NeRF reconstruction that yields a coarse model, then creates a binocular scene within the reconstructed environment, which derives an initial depth map via stereo vision. This initial depth map serves as depth supervision for subsequent NeRF iterations, progressively refining the 3D reconstruction with enhanced accuracy. The binocular depth is iteratively recalculated, with the refinement process continuing until the depth map converges, and exhibits negligible variations. Through this recursive process, high-fidelity depth maps are generated from monocular endoscopic video of a realistic cranial phantom. By repeated measures of the final 3D reconstruction compared to X-ray computed tomography, all differences of relevant clinical distances result in sub-millimeter accuracy.
• Abstract（参考訳）: 低侵襲内視鏡手術における手術領域の3次元再構築は,従来の単眼内視鏡を用いた場合,大きな課題となった。 既存の3次元再構成手法は、最適下限の精度と限定的な一般化能力によってしばしば強化される。 本研究では,3次元再構成のためのNeural Radiance Fields (NeRF) を用いた革新的なパイプラインを提案する。 提案手法は、粗いモデルが得られる予備的なNeRF再構成を用いて、再建された環境内に双眼シーンを生成し、ステレオビジョンによる初期深度マップを導出する。 この初期深度マップは、その後のNeRFイテレーションの深度監視に役立ち、3D再構成の精度を向上して徐々に改善している。 両眼深度は反復的に再計算され、深度マップが収束するまで精製プロセスは継続され、無視可能な変動を示す。 この再帰的プロセスを通じて、現実的な脳ファントムの単眼内視鏡映像から高忠実度深度マップが生成される。 X線CTと比較し, 最終3次元再構成を繰り返すことで, 関連する臨床距離の差はすべて, サブミリ秒の精度に繋がることがわかった。

関連論文リスト

• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• 3D Guidewire Shape Reconstruction from Monoplane Fluoroscopic Images [7.0968125126570625]
  本稿では,最新の血管内シミュレータCathSimを用いて3Dガイドワイヤを再構築する手法を提案する。 我々の3D-FGRNは、シミュレーションされた単平面蛍光画像から従来の三角測量と同等の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-19T03:20:42Z)
• A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy from Monocular Endoscopic Video [8.32570164101507]
  内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。 以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。 ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
  論文  参考訳（メタデータ） (2023-10-22T17:11:40Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• REGAS: REspiratory-GAted Synthesis of Views for Multi-Phase CBCT Reconstruction from a single 3D CBCT Acquisition [75.64791080418162]
  REGASは、アンダーサンプドトモグラフィビューを合成し、再構成画像中のアーティファクトのエイリアスを緩和する自己教師手法を提案する。 高解像度4Dデータ上でのディープニューラルネットワークの大規模なメモリコストに対処するため、REGASは分散して微分可能なフォワードプロジェクションを可能にする新しいレイパス変換(RPT)を導入した。
  論文  参考訳（メタデータ） (2022-08-17T03:42:19Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
  本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。 ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
  論文  参考訳（メタデータ） (2021-11-19T04:44:27Z)
• 3D Reconstruction of Curvilinear Structures with Stereo Matching DeepConvolutional Neural Networks [52.710012864395246]
  本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。 主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
  論文  参考訳（メタデータ） (2021-10-14T23:05:47Z)
• Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
  微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである 本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T06:12:18Z)
• Tattoo tomography: Freehand 3D photoacoustic image reconstruction with an optical pattern [49.240017254888336]
  光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。 現在の欠点は、従来の2Dプローブによって提供される視野の制限である。 本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
  論文  参考訳（メタデータ） (2020-11-10T09:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。