論文の概要: EndoPerfect: High-Accuracy Monocular Depth Estimation and 3D Reconstruction for Endoscopic Surgery via NeRF-Stereo Fusion
- arxiv url: http://arxiv.org/abs/2410.04041v5
- Date: Fri, 28 Feb 2025 06:45:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 16:38:45.018588
- Title: EndoPerfect: High-Accuracy Monocular Depth Estimation and 3D Reconstruction for Endoscopic Surgery via NeRF-Stereo Fusion
- Title(参考訳): NeRF-Stereo Fusion を用いた内視鏡手術における高精度単眼深度推定と3次元再構成
- Authors: Pengcheng Chen, Wenhao Li, Nicole Gunderson, Jeremy Ruthberg, Randall Bly, Zhenglong Sun, Waleed M. Abuzeid, Eric J. Seibel,
- Abstract要約: 内視鏡下副鼻腔手術(ESS)では,術中CTは術中評価に有用であるが,着床速度や放射線曝露に制約がある。
既存の技術は、しばしば密度の高い再建に必要なサブミリ精度を達成するのに苦労する。
本稿では,Neural Radiance Fields(NeRF)を中間表現として活用するオンライン学習手法を提案する。
提案手法では,0.5mm未満の点間精度が0.125$pm$0.443mmであることを示す。
- 参考スコア(独自算出の注目度): 11.798218793025974
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In endoscopic sinus surgery (ESS), intraoperative CT (iCT) offers valuable intraoperative assessment but is constrained by slow deployment and radiation exposure, limiting its clinical utility. Endoscope-based monocular 3D reconstruction is a promising alternative; however, existing techniques often struggle to achieve the submillimeter precision required for dense reconstruction. In this work, we propose an iterative online learning approach that leverages Neural Radiance Fields (NeRF) as an intermediate representation, enabling monocular depth estimation and 3D reconstruction without relying on prior medical data. Our method attains a point-to-point accuracy below 0.5 mm, with a demonstrated theoretical depth accuracy of 0.125 $\pm$ 0.443 mm. We validate our approach across synthetic, phantom, and real endoscopic scenarios, confirming its accuracy and reliability. These results underscore the potential of our pipeline as an iCT alternative, meeting the demanding submillimeter accuracy standards required in ESS.
- Abstract(参考訳): 内視鏡下副鼻腔手術(Electroscopic sinus surgery, ESS)では, 術中CT(Intraoperative CT, ICT)が有用であるが, 放射線照射が遅く, 臨床的有用性に制限されている。
内視鏡による単分子3D再構成は有望な代替手段であるが,既存の技術は高密度再構成に必要なサブミリ精度の達成に苦慮することが多い。
本研究では,NeRF(Neural Radiance Fields)を中間表現として活用した反復型オンライン学習手法を提案する。
提案手法では,0.5mm未満の点間精度が0.125 $\pm$ 0.443 mmであることを示す。
我々は,その正確さと信頼性を確認し,人工,幻,実際の内視鏡的シナリオにまたがるアプローチを検証する。
これらの結果は, ESSで要求されるサブミリ単位の精度基準を満たすため, iCT代替品としてのパイプラインの可能性を強調した。
関連論文リスト
- Advancing Depth Anything Model for Unsupervised Monocular Depth Estimation in Endoscopy [2.906891207990726]
本稿では,Depth Anything Modelのための新しい微調整戦略を提案する。
本手法は本態性に基づく教師なし単眼深度推定フレームワークと統合する。
提案手法は,トレーニング可能なパラメータ数を最小化しつつ,最先端性能を実現する。
論文 参考訳(メタデータ) (2024-09-12T03:04:43Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - Rotational Augmented Noise2Inverse for Low-dose Computed Tomography
Reconstruction [83.73429628413773]
改良された深層学習手法は、画像のノイズを除去する能力を示しているが、正確な地上の真実を必要とする。
畳み込みニューラルネットワーク(CNN)のトレーニングに基礎的真理を必要としないLDCTのための新しい自己教師型フレームワークを提案する。
数値および実験結果から,Sparse View を用いた N2I の再構成精度は低下しており,提案手法は異なる範囲のサンプリング角度で画像品質を向上する。
論文 参考訳(メタデータ) (2023-12-19T22:40:51Z) - 3D Guidewire Shape Reconstruction from Monoplane Fluoroscopic Images [7.0968125126570625]
本稿では,最新の血管内シミュレータCathSimを用いて3Dガイドワイヤを再構築する手法を提案する。
我々の3D-FGRNは、シミュレーションされた単平面蛍光画像から従来の三角測量と同等の結果が得られる。
論文 参考訳(メタデータ) (2023-11-19T03:20:42Z) - EyeLS: Shadow-Guided Instrument Landing System for Intraocular Target
Approaching in Robotic Eye Surgery [51.05595735405451]
ロボット眼科手術(Robotic Ophthalmic surgery)は、網膜下注入における網膜侵入や網膜剥離における浮動組織の除去など、高精度な介入を促進する新しい技術である。
現在の画像に基づく手法では、針先端の軌跡を網膜と浮動標的の両方に向けて効果的に推定することはできない。
本研究では,ターゲットの影位置と楽器先端を用いて相対的な深度位置を推定する。
手術シミュレータでは, 平均深度0.0127mm, 平均深度0.3473mm, 平均深度0.0127mm, 平均深度0.3473mmを目標とした。
論文 参考訳(メタデータ) (2023-11-15T09:11:37Z) - A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy
from Monocular Endoscopic Video [8.32570164101507]
内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。
以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。
ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
論文 参考訳(メタデータ) (2023-10-22T17:11:40Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T19:34:12Z) - Medical needle tip tracking based on Optical Imaging and AI [0.0]
本論文は針先リアルタイム追跡のための革新的な技術であり,針挿入指導の強化を目的としている。
具体的には,光ファイバー付針を用いた散乱画像の作成を中心に展開し,CNNに基づくアルゴリズムを用いて針先端の位置と向きをリアルタイムで推定する手法を提案する。
平均大腿動脈半径が4mmから5mmと推定され,大腿動脈挿入術における針ガイドの精度が高い可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-28T10:30:08Z) - Weakly supervised segmentation of intracranial aneurysms using a novel 3D focal modulation UNet [0.5106162890866905]
本稿では,新しい3次元焦点変調UNetであるFocalSegNetを提案する。
UIA検出では偽陽性率は0.21で感度は0.80であった。
論文 参考訳(メタデータ) (2023-08-06T03:28:08Z) - A geometry-aware deep network for depth estimation in monocular
endoscopy [17.425158094539462]
提案手法は,異なるデータセットと臨床画像にまたがって広範囲に検証されている。
提案法の平均RMSE値は12.604(T1-L1)、9.930(T2-L2)、13.893(Colon)である。
論文 参考訳(メタデータ) (2023-04-20T11:59:32Z) - Clean-NeRF: Reformulating NeRF to account for View-Dependent
Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。
clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文 参考訳(メタデータ) (2023-03-26T12:24:31Z) - REGAS: REspiratory-GAted Synthesis of Views for Multi-Phase CBCT
Reconstruction from a single 3D CBCT Acquisition [75.64791080418162]
REGASは、アンダーサンプドトモグラフィビューを合成し、再構成画像中のアーティファクトのエイリアスを緩和する自己教師手法を提案する。
高解像度4Dデータ上でのディープニューラルネットワークの大規模なメモリコストに対処するため、REGASは分散して微分可能なフォワードプロジェクションを可能にする新しいレイパス変換(RPT)を導入した。
論文 参考訳(メタデータ) (2022-08-17T03:42:19Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳(メタデータ) (2021-11-19T04:44:27Z) - 3D Reconstruction of Curvilinear Structures with Stereo Matching
DeepConvolutional Neural Networks [52.710012864395246]
本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。
主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
論文 参考訳(メタデータ) (2021-10-14T23:05:47Z) - Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T06:12:18Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳(メタデータ) (2020-12-16T07:11:16Z) - Tattoo tomography: Freehand 3D photoacoustic image reconstruction with
an optical pattern [49.240017254888336]
光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。
現在の欠点は、従来の2Dプローブによって提供される視野の制限である。
本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
論文 参考訳(メタデータ) (2020-11-10T09:27:56Z) - Probabilistic 3D surface reconstruction from sparse MRI information [58.14653650521129]
スパース2次元MR画像データとアレータティック不確実性予測から3次元表面再構成を同時に行うための新しい確率論的深層学習手法を提案する。
本手法は,3つの準直交MR画像スライスから,限られたトレーニングセットから大きな表面メッシュを再構成することができる。
論文 参考訳(メタデータ) (2020-10-05T14:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。