論文の概要: Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments

• arxiv url: http://arxiv.org/abs/2305.03535v2
• Date: Fri, 22 Dec 2023 20:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 22:57:31.417070
• Title: Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments
• Title（参考訳）: 次世代外科ナビゲーション : マーカレスマルチビュー6dofによる手術器具の姿勢推定
• Authors: Jonas Hein, Nicola Cavalcanti, Daniel Suter, Lukas Zingg, Fabio Carrillo, Lilian Calvet, Mazda Farshad, Marc Pollefeys, Nassir Navab, Philipp F\"urnstahl
• Abstract要約: 静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
• 参考スコア（独自算出の注目度）: 66.74633676595889
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: State-of-the-art research of traditional computer vision is increasingly leveraged in the surgical domain. A particular focus in computer-assisted surgery is to replace marker-based tracking systems for instrument localization with pure image-based 6DoF pose estimation using deep-learning methods. However, state-of-the-art single-view pose estimation methods do not yet meet the accuracy required for surgical navigation. In this context, we investigate the benefits of multi-view setups for highly accurate and occlusion-robust 6DoF pose estimation of surgical instruments and derive recommendations for an ideal camera system that addresses the challenges in the operating room. The contributions of this work are threefold. First, we present a multi-camera capture setup consisting of static and head-mounted cameras, which allows us to study the performance of pose estimation methods under various camera configurations. Second, we publish a multi-view RGB-D video dataset of ex-vivo spine surgeries, captured in a surgical wet lab and a real operating theatre and including rich annotations for surgeon, instrument, and patient anatomy. Third, we evaluate three state-of-the-art single-view and multi-view methods for the task of 6DoF pose estimation of surgical instruments and analyze the influence of camera configurations, training data, and occlusions on the pose accuracy and generalization ability. The best method utilizes five cameras in a multi-view pose optimization and achieves an average position and orientation error of 1.01 mm and 0.89\deg for a surgical drill as well as 2.79 mm and 3.33\deg for a screwdriver under optimal conditions. Our results demonstrate that marker-less tracking of surgical instruments is becoming a feasible alternative to existing marker-based systems.
• Abstract（参考訳）: 従来のコンピュータビジョンの最先端の研究は、外科領域でますます活用されている。 コンピュータ支援手術において特に注目されるのは、計器位置決めのためのマーカーベースのトラッキングシステムと、深層学習を用いた純画像ベースの6DoFポーズ推定に置き換えることである。 しかし、最先端の単一視点ポーズ推定法はまだ手術ナビゲーションに必要な精度を満たさない。 そこで本研究では,手術器具の高精度かつ閉塞性6DoFポーズ推定のためのマルチビュー設定の利点を考察し,手術室の課題に対処する理想的なカメラシステムを提案する。 この作品の貢献は3倍である。 まず,スタティックカメラとヘッドマウントカメラからなるマルチカメラキャプチャセットアップを提案し,様々なカメラ構成におけるポーズ推定手法の性能について検討する。 第2に,手術用湿式手術室と実手術室で撮影し,外科医,器具,患者解剖学の豊富なアノテーションを含む多視点RGB-Dビデオデータセットを公開する。 第3に,手術器具の6dofポーズ推定作業における3つの最先端シングルビューおよびマルチビュー法を評価し,カメラ構成,トレーニングデータ,咬合が姿勢精度および一般化能力に及ぼす影響を分析した。 最適な方法は5台のカメラを多視点ポーズ最適化に利用し、手術訓練では1.01mmと0.89\degの平均位置と方位誤差、最適な条件下では2.79mmと3.33\degを達成する。 手術器具のマーカーレストラッキングが既存のマーカーベースシステムに代わる可能性が高まっていることを示す。

関連論文リスト

• Deep intra-operative illumination calibration of hyperspectral cameras [73.08443963791343]
  ハイパースペクトルイメージング (HSI) は, 様々な手術応用に期待できる新しい画像モダリティとして出現している。 手術室における照明条件の動的変化がHSIアプリケーションの性能に劇的な影響を及ぼすことを示す。 手術中におけるハイパースペクトル画像の自動再構成のための新しい学習ベースアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-11T08:30:03Z)
• Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries [7.630289691590948]
  X線システムにおける6-DoFポーズ推定タスクのための汎用的なデータ取得手法を提案する。 提案したYOLOv5-6Dのポーズモデルは、GPU上で42FPSでかなり高速ながら、公開ベンチマーク上での競合的な結果を達成する。 このモデルはADD-S測定値の0.1倍の92.41%を達成し,手術精度の向上と患者の予後向上に有望なアプローチを示す。
  論文  参考訳（メタデータ） (2024-05-19T21:35:12Z)
• Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
  手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。 脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
  論文  参考訳（メタデータ） (2024-03-25T13:09:40Z)
• Monocular Microscope to CT Registration using Pose Estimation of the Incus for Augmented Reality Cochlear Implant Surgery [3.8909273404657556]
  本研究では, 外部追跡装置を必要とせず, 2次元から3次元の観察顕微鏡映像を直接CTスキャンに登録する手法を開発した。 その結果, x, y, z軸の平均回転誤差は25度未満, 翻訳誤差は2mm, 3mm, 0.55%であった。
  論文  参考訳（メタデータ） (2024-03-12T00:26:08Z)
• Redefining the Laparoscopic Spatial Sense: AI-based Intra- and Postoperative Measurement from Stereoimages [3.2039076408339353]
  立体視を用いた腹腔鏡計測のための人体AIを用いた新しい手法を開発した。 本研究は, 総合的質的要件分析に基づいて, 包括的測定法を提案する。 提案手法が1mm以下の誤差で精度の高い距離測定を実現する可能性について概説した。
  論文  参考訳（メタデータ） (2023-11-16T10:19:04Z)
• Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
  カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。 最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。 パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
  論文  参考訳（メタデータ） (2023-04-17T07:05:01Z)
• Live image-based neurosurgical guidance and roadmap generation using unsupervised embedding [53.992124594124896]
  本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。 生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。 166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-31T12:52:24Z)
• Deep Homography Estimation in Dynamic Surgical Scenes for Laparoscopic Camera Motion Extraction [6.56651216023737]
  腹腔鏡下手術の映像から腹腔鏡ホルダーの動作を抽出する手法を提案する。 我々は、新たに取得したカメラモーションフリーda Vinci画像シーケンスのデータセットに、カメラモーションを合成的に付加する。 提案手法は,我々のカメラモーションフリーda Vinci手術データセットから腹腔鏡下手術の映像へ移行し,古典的ホモグラフィー推定手法の双方,精度41%,CPU上でのランタイムを43%上回る結果を得た。
  論文  参考訳（メタデータ） (2021-09-30T13:05:37Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)
• Robust Medical Instrument Segmentation Challenge 2019 [56.148440125599905]
  腹腔鏡装置の術中追跡は、しばしばコンピュータとロボットによる介入の必要条件である。 本研究の課題は,30の手術症例から取得した10,040枚の注釈画像からなる外科的データセットに基づいていた。 結果は、初期仮説、すなわち、アルゴリズムの性能がドメインギャップの増大とともに低下することを確認する。
  論文  参考訳（メタデータ） (2020-03-23T14:35:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。