論文の概要: BodySLAM: A Generalized Monocular Visual SLAM Framework for Surgical Applications
- arxiv url: http://arxiv.org/abs/2408.03078v1
- Date: Tue, 6 Aug 2024 10:13:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 14:27:34.457356
- Title: BodySLAM: A Generalized Monocular Visual SLAM Framework for Surgical Applications
- Title（参考訳）: BodySLAM: 外科的応用のための汎用単眼視覚SLAMフレームワーク
- Authors: G. Manni, C. Lauretti, F. Prata, R. Papalia, L. Zollo, P. Soda,
- Abstract要約: 本研究では,最先端モデルと新たに開発されたモデルを組み合わせた,堅牢なディープラーニングベースのSLAM手法を提案する。
SLAM法は内視鏡手術の精度と効率を向上させる可能性を秘めている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Endoscopic surgery relies on two-dimensional views, posing challenges for surgeons in depth perception and instrument manipulation. While Simultaneous Localization and Mapping (SLAM) has emerged as a promising solution to address these limitations, its implementation in endoscopic procedures presents significant challenges due to hardware limitations, such as the use of a monocular camera and the absence of odometry sensors. This study presents a robust deep learning-based SLAM approach that combines state-of-the-art and newly developed models. It consists of three main parts: the Monocular Pose Estimation Module that introduces a novel unsupervised method based on the CycleGAN architecture, the Monocular Depth Estimation Module that leverages the novel Zoe architecture, and the 3D Reconstruction Module which uses information from the previous models to create a coherent surgical map. The performance of the procedure was rigorously evaluated using three publicly available datasets (Hamlyn, EndoSLAM, and SCARED) and benchmarked against two state-of-the-art methods, EndoSFMLearner and EndoDepth. The integration of Zoe in the MDEM demonstrated superior performance compared to state-of-the-art depth estimation algorithms in endoscopy, whereas the novel approach in the MPEM exhibited competitive performance and the lowest inference time. The results showcase the robustness of our approach in laparoscopy, gastroscopy, and colonoscopy, three different scenarios in endoscopic surgery. The proposed SLAM approach has the potential to improve the accuracy and efficiency of endoscopic procedures by providing surgeons with enhanced depth perception and 3D reconstruction capabilities.
- Abstract（参考訳）: 内視鏡手術は、深度知覚と楽器操作において、外科医に挑戦する2次元の視点に依存している。
同時局在マッピング(SLAM)はこれらの制限に対処するための有望なソリューションとして登場したが、その内視鏡的プロシージャの実装は、モノクラーカメラの使用や計測センサーの欠如など、ハードウェアの制限による重大な課題を呈している。
本研究では,最先端モデルと新たに開発されたモデルを組み合わせた,堅牢なディープラーニングベースのSLAM手法を提案する。
このモジュールは、CycleGANアーキテクチャに基づいた新しい教師なしメソッドを導入するモノクラー・ポス推定モジュール、新しいZoeアーキテクチャを利用するモノクラー・深さ推定モジュール、以前のモデルからの情報を使用して一貫性のある手術地図を作成する3D再構成モジュールの3つの主要な部分で構成されている。
手順のパフォーマンスは、3つの公開データセット(Hamlyn、EndoSLAM、SCARED)を使用して厳格に評価され、最先端の2つのメソッドであるEndoSFMLearnerとEndoDepthに対してベンチマークされた。
MDEMにおけるZoeの統合は、内視鏡における最先端深度推定アルゴリズムよりも優れた性能を示したが、MPEMにおける新しいアプローチは、競争性能と最低推定時間を示した。
腹腔鏡検査,胃内視鏡検査,大腸内視鏡検査におけるアプローチの堅牢性について検討した。
提案したSLAMアプローチは,深度知覚と3D再構成機能を備えた外科医に内視鏡手術の精度と効率を向上する可能性がある。
関連論文リスト
- Deep intra-operative illumination calibration of hyperspectral cameras [73.08443963791343]
ハイパースペクトルイメージング (HSI) は, 様々な手術応用に期待できる新しい画像モダリティとして出現している。
手術室における照明条件の動的変化がHSIアプリケーションの性能に劇的な影響を及ぼすことを示す。
手術中におけるハイパースペクトル画像の自動再構成のための新しい学習ベースアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-11T08:30:03Z) - EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。
再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
論文 参考訳（メタデータ） (2024-07-01T07:24:09Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳（メタデータ） (2024-04-20T18:06:26Z) - Super-resolution of biomedical volumes with 2D supervision [84.5255884646906]
超解像のための仮設スライス拡散は、生物学的標本のすべての空間次元にわたるデータ生成分布の固有同値性を利用する。
我々は,高解像度2次元画像の高速取得を特徴とするSliceRの組織学的刺激(SRH)への応用に着目する。
論文 参考訳（メタデータ） (2024-04-15T02:41:55Z) - EndoGSLAM: Real-Time Dense Reconstruction and Tracking in Endoscopic Surgeries using Gaussian Splatting [53.38166294158047]
EndoGSLAMは鏡視下手術の効率的なアプローチであり、合理化表現と微分ガウス化を統合している。
実験の結果,EndoGSLAMは従来型あるいは神経型SLAMアプローチよりも術中可用性と再建品質のトレードオフが良好であることがわかった。
論文 参考訳（メタデータ） (2024-03-22T11:27:43Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy
from Monocular Endoscopic Video [8.32570164101507]
内視鏡的シーケンスと光学的トラッキングを用いた洞再建のための自己教師型アプローチの定量的解析を行った。
以上の結果から, 生成した復元は解剖学的に高い一致を示し, 平均点間誤差は0.91mmであった。
ポーズと深さ推定の不正確さがこの誤りに等しく寄与し、より短い軌跡を持つ局所的に一貫したシーケンスがより正確な再構成をもたらすことを確認した。
論文 参考訳（メタデータ） (2023-10-22T17:11:40Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。
最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。
パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
論文 参考訳（メタデータ） (2023-04-17T07:05:01Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳（メタデータ） (2022-04-10T18:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。