論文の概要: Neural Fields for 3D Tracking of Anatomy and Surgical Instruments in Monocular Laparoscopic Video Clips
- arxiv url: http://arxiv.org/abs/2403.19265v1
- Date: Thu, 28 Mar 2024 09:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 16:53:18.878831
- Title: Neural Fields for 3D Tracking of Anatomy and Surgical Instruments in Monocular Laparoscopic Video Clips
- Title（参考訳）: 単眼視下ビデオクリップにおける解剖・手術器具の3次元追跡のためのニューラルネットワーク
- Authors: Beerend G. A. Gerats, Jelmer M. Wolterink, Seb P. Mol, Ivo A. M. J. Broeders,
- Abstract要約: 単一2次元単眼ビデオクリップ上で全構造を同時追跡する手法を提案する。
装置のサイズが小さいため、画像のごく一部しかカバーしていないため、追跡精度が低下する。
腹腔鏡下胆嚢摘出術を施行し, 解剖学的構造は92.4%, 機器は87.4%であった。
- 参考スコア（独自算出の注目度）: 1.339950379203994
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Laparoscopic video tracking primarily focuses on two target types: surgical instruments and anatomy. The former could be used for skill assessment, while the latter is necessary for the projection of virtual overlays. Where instrument and anatomy tracking have often been considered two separate problems, in this paper, we propose a method for joint tracking of all structures simultaneously. Based on a single 2D monocular video clip, we train a neural field to represent a continuous spatiotemporal scene, used to create 3D tracks of all surfaces visible in at least one frame. Due to the small size of instruments, they generally cover a small part of the image only, resulting in decreased tracking accuracy. Therefore, we propose enhanced class weighting to improve the instrument tracks. We evaluate tracking on video clips from laparoscopic cholecystectomies, where we find mean tracking accuracies of 92.4% for anatomical structures and 87.4% for instruments. Additionally, we assess the quality of depth maps obtained from the method's scene reconstructions. We show that these pseudo-depths have comparable quality to a state-of-the-art pre-trained depth estimator. On laparoscopic videos in the SCARED dataset, the method predicts depth with an MAE of 2.9 mm and a relative error of 9.2%. These results show the feasibility of using neural fields for monocular 3D reconstruction of laparoscopic scenes.
- Abstract（参考訳）: 腹腔鏡画像追跡は主に手術器具と解剖学の2つのターゲットタイプに焦点を当てている。
前者はスキルアセスメントに、後者は仮想オーバーレイの投影に必要である。
計器と解剖学的追跡は2つの異なる問題とみなされてきたが, 本稿では, 全構造物の同時追跡手法を提案する。
単一の2次元ビデオクリップに基づいて、我々は、少なくとも1つのフレームで見えるすべての表面の3Dトラックを作成するために、連続的な時空間シーンを表現するために、ニューラルネットワークを訓練する。
装置のサイズが小さいため、画像のごく一部しかカバーしていないため、追跡精度が低下する。
そこで本稿では,楽器のトラック改善のために,クラス重み付けの強化を提案する。
腹腔鏡下胆嚢摘出術におけるビデオクリップの追跡について検討し, 解剖学的構造は92.4%, 機器は87.4%であった。
さらに,本手法のシーン再構成から得られた深度マップの品質を評価する。
これらの擬似深度は、最先端の訓練済み深度推定器に匹敵する品質を有することを示す。
SCAREDデータセットの腹腔鏡ビデオでは、2.9mmのMAEと9.2%の相対誤差で深さを予測する。
以上の結果から,腹腔鏡下シーンの単眼3次元再構成における神経場の有用性が示唆された。
関連論文リスト
- Seamless Augmented Reality Integration in Arthroscopy: A Pipeline for Articular Reconstruction and Guidance [4.8046407905667206]
関節鏡は、関節疾患の診断と治療に用いられる、最小侵襲の外科手術である。
関節鏡の視野の制限と深度知覚の欠如は、複雑な関節構造をナビゲートする上での課題となる。
本稿では, 局所化とマッピング, 深さ推定, 3次元ガウススプラッティングを併用したロバストパイプラインを提案する。
我々のソリューションは、関節ノッチ計測とアノテーションアンカーのためのARアシストを提供する。
論文 参考訳（メタデータ） (2024-10-01T04:15:49Z) - SALVE: A 3D Reconstruction Benchmark of Wounds from Consumer-grade Videos [20.69257610322339]
本稿では,消費者向けビデオからの3次元創傷再建について述べる。
SALVEデータセットを導入し、異なるカメラで捉えた現実的な創傷ファントムのビデオ記録を含む。
我々は,従来のフォトグラメトリーパイプラインから高度なニューラルレンダリングアプローチまで,最先端の3次元再構成手法の精度と精度を評価する。
論文 参考訳（メタデータ） (2024-07-29T02:34:51Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳（メタデータ） (2024-04-20T18:06:26Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - Multi-task learning with cross-task consistency for improved depth
estimation in colonoscopy [0.2995885872626565]
我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。
比較誤差は14.17%、$delta_1$精度は10.4%改善した。
論文 参考訳（メタデータ） (2023-11-30T16:13:17Z) - Deep learning network to correct axial and coronal eye motion in 3D OCT
retinal imaging [65.47834983591957]
深層学習に基づくニューラルネットワークを用いて,OCTの軸運動とコロナ運動のアーチファクトを1つのスキャンで補正する。
実験結果から, 提案手法は動作アーチファクトを効果的に補正し, 誤差が他の方法よりも小さいことを示す。
論文 参考訳（メタデータ） (2023-05-27T03:55:19Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Geometry-Aware Attenuation Learning for Sparse-View CBCT Reconstruction [53.93674177236367]
Cone Beam Computed Tomography (CBCT) は臨床画像撮影において重要な役割を担っている。
従来の方法では、高品質な3D CBCT画像の再構成には数百の2次元X線投影が必要である。
これにより、放射線線量を減らすため、スパースビューCBCT再構成への関心が高まっている。
本稿では,この問題を解決するために,新しい幾何対応エンコーダデコーダフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-26T14:38:42Z) - A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence [13.25903945009516]
本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
論文 参考訳（メタデータ） (2022-03-31T13:14:00Z) - 4D Spatio-Temporal Convolutional Networks for Object Position Estimation
in OCT Volumes [69.62333053044712]
3次元畳み込みニューラルネットワーク(CNN)は、単一のOCT画像を用いたマーカーオブジェクトのポーズ推定に有望な性能を示した。
我々は3次元CNNを4次元時間CNNに拡張し、マーカーオブジェクト追跡のための追加の時間情報の影響を評価する。
論文 参考訳（メタデータ） (2020-07-02T12:02:20Z) - Appearance Learning for Image-based Motion Estimation in Tomography [60.980769164955454]
トモグラフィー画像では、取得した信号に擬似逆フォワードモデルを適用することにより、解剖学的構造を再構成する。
患者の動きは、復元過程における幾何学的アライメントを損なうため、運動アーティファクトが生じる。
本研究では,スキャン対象から独立して剛性運動の構造を認識する外観学習手法を提案する。
論文 参考訳（メタデータ） (2020-06-18T09:49:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。