論文の概要: Next-generation Surgical Navigation: Multi-view Marker-less 6DoF Pose
Estimation of Surgical Instruments
- arxiv url: http://arxiv.org/abs/2305.03535v1
- Date: Fri, 5 May 2023 13:42:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-08 13:41:44.101190
- Title: Next-generation Surgical Navigation: Multi-view Marker-less 6DoF Pose
Estimation of Surgical Instruments
- Title(参考訳): 次世代手術ナビゲーション:多視点マーカーレス6DoFによる手術器具の計測
- Authors: Jonas Hein, Nicola Cavalcanti, Daniel Suter, Lukas Zingg, Fabio
Carrillo, Mazda Farshad, Marc Pollefeys, Nassir Navab, and Philipp
F\"urnstahl
- Abstract要約: 従来のコンピュータビジョンの最先端の研究は、外科領域でますます活用されている。
コンピュータ支援手術の焦点は、計器位置決めのためのマーカーベースのトラッキングシステムを、純粋な画像ベースの6DoFポーズ推定に置き換えることである。
手術機器のローカライゼーションのための高忠実度マーカーレス光追跡システムを提案する。
- 参考スコア(独自算出の注目度): 71.3638712193759
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: State-of-the-art research of traditional computer vision is increasingly
leveraged in the surgical domain. A particular focus in computer-assisted
surgery is to replace marker-based tracking systems for instrument localization
with pure image-based 6DoF pose estimation. However, the state of the art has
not yet met the accuracy required for surgical navigation. In this context, we
propose a high-fidelity marker-less optical tracking system for surgical
instrument localization. We developed a multi-view camera setup consisting of
static and mobile cameras and collected a large-scale RGB-D video dataset with
dedicated synchronization and data fusions methods. Different state-of-the-art
pose estimation methods were integrated into a deep learning pipeline and
evaluated on multiple camera configurations. Furthermore, the performance
impacts of different input modalities and camera positions, as well as training
on purely synthetic data, were compared. The best model achieved an average
position and orientation error of 1.3 mm and 1.0{\deg} for a surgical drill as
well as 3.8 mm and 5.2{\deg} for a screwdriver. These results significantly
outperform related methods in the literature and are close to clinical-grade
accuracy, demonstrating that marker-less tracking of surgical instruments is
becoming a feasible alternative to existing marker-based systems.
- Abstract(参考訳): 従来のコンピュータビジョンの最先端の研究は、外科領域でますます活用されている。
コンピュータ支援手術における特に焦点は、計器位置決めのためのマーカーベースのトラッキングシステムを、純粋な画像ベースの6DoFポーズ推定に置き換えることである。
しかし、術式は外科ナビゲーションに必要な精度にはまだ達していない。
そこで本研究では,高忠実度マーカーレス光学追跡システムを提案する。
静的カメラとモバイルカメラからなるマルチビューカメラのセットアップを開発し,専用同期・データ融合方式を用いた大規模rgb-dビデオデータセットを収集した。
さまざまな最先端ポーズ推定手法をディープラーニングパイプラインに統合し,複数のカメラ構成で評価した。
さらに,入力モードやカメラ位置の違いによるパフォーマンスへの影響,および純粋合成データに対するトレーニングについて比較した。
最良のモデルは、手術用ドリルの平均位置と方向誤差を1.3mmと1.0{\deg}、スクリュードライバーを3.8mmと5.2{\deg}とした。
これらの結果は文献中の関連する方法を大幅に上回っており,臨床的に適度な精度に近く,既存のマーカーベースのシステムに対するマーカーレス追跡が実現可能な選択肢になりつつあることを示す。
関連論文リスト
- Monocular Microscope to CT Registration using Pose Estimation of the
Incus for Augmented Reality Cochlear Implant Surgery [3.8909273404657556]
本研究では, 外部追跡装置を必要とせず, 2次元から3次元の観察顕微鏡映像を直接CTスキャンに登録する手法を開発した。
その結果, x, y, z軸の平均回転誤差は25度未満, 翻訳誤差は2mm, 3mm, 0.55%であった。
論文 参考訳(メタデータ) (2024-03-12T00:26:08Z) - Redefining the Laparoscopic Spatial Sense: AI-based Intra- and
Postoperative Measurement from Stereoimages [3.2039076408339353]
立体視を用いた腹腔鏡計測のための人体AIを用いた新しい手法を開発した。
本研究は, 総合的質的要件分析に基づいて, 包括的測定法を提案する。
提案手法が1mm以下の誤差で精度の高い距離測定を実現する可能性について概説した。
論文 参考訳(メタデータ) (2023-11-16T10:19:04Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip
Segmentation in Robotic Surgeries [29.201385352740555]
そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。
具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。
クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
論文 参考訳(メタデータ) (2023-09-02T14:52:58Z) - Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。
最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。
パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
論文 参考訳(メタデータ) (2023-04-17T07:05:01Z) - Live image-based neurosurgical guidance and roadmap generation using
unsupervised embedding [53.992124594124896]
本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。
生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。
166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
論文 参考訳(メタデータ) (2023-03-31T12:52:24Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳(メタデータ) (2022-04-10T18:51:55Z) - Deep Homography Estimation in Dynamic Surgical Scenes for Laparoscopic
Camera Motion Extraction [6.56651216023737]
腹腔鏡下手術の映像から腹腔鏡ホルダーの動作を抽出する手法を提案する。
我々は、新たに取得したカメラモーションフリーda Vinci画像シーケンスのデータセットに、カメラモーションを合成的に付加する。
提案手法は,我々のカメラモーションフリーda Vinci手術データセットから腹腔鏡下手術の映像へ移行し,古典的ホモグラフィー推定手法の双方,精度41%,CPU上でのランタイムを43%上回る結果を得た。
論文 参考訳(メタデータ) (2021-09-30T13:05:37Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - Robust Medical Instrument Segmentation Challenge 2019 [56.148440125599905]
腹腔鏡装置の術中追跡は、しばしばコンピュータとロボットによる介入の必要条件である。
本研究の課題は,30の手術症例から取得した10,040枚の注釈画像からなる外科的データセットに基づいていた。
結果は、初期仮説、すなわち、アルゴリズムの性能がドメインギャップの増大とともに低下することを確認する。
論文 参考訳(メタデータ) (2020-03-23T14:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。