論文の概要: SurgPose: Generalisable Surgical Instrument Pose Estimation using Zero-Shot Learning and Stereo Vision

• arxiv url: http://arxiv.org/abs/2505.11439v1
• Date: Fri, 16 May 2025 16:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.674523
• Title: SurgPose: Generalisable Surgical Instrument Pose Estimation using Zero-Shot Learning and Stereo Vision
• Title（参考訳）: SurgPose: ゼロショット学習とステレオビジョンを用いた一般的な手術器具ポス推定
• Authors: Utsav Rai, Haozheng Xu, Stamatia Giannarou,
• Abstract要約: 本稿では,手術器具に対する6自由度ポーズ推定パイプラインを提案する。 私たちはFoundationPoseやSAM-6Dといった最先端のゼロショットRGB-Dモデルを活用しています。 ロボットによる最小侵襲手術におけるゼロショットRGB-Dポーズ推定のための新しいベンチマークを設定した。
• 参考スコア（独自算出の注目度）: 4.749155557874306
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate pose estimation of surgical tools in Robot-assisted Minimally Invasive Surgery (RMIS) is essential for surgical navigation and robot control. While traditional marker-based methods offer accuracy, they face challenges with occlusions, reflections, and tool-specific designs. Similarly, supervised learning methods require extensive training on annotated datasets, limiting their adaptability to new tools. Despite their success in other domains, zero-shot pose estimation models remain unexplored in RMIS for pose estimation of surgical instruments, creating a gap in generalising to unseen surgical tools. This paper presents a novel 6 Degrees of Freedom (DoF) pose estimation pipeline for surgical instruments, leveraging state-of-the-art zero-shot RGB-D models like the FoundationPose and SAM-6D. We advanced these models by incorporating vision-based depth estimation using the RAFT-Stereo method, for robust depth estimation in reflective and textureless environments. Additionally, we enhanced SAM-6D by replacing its instance segmentation module, Segment Anything Model (SAM), with a fine-tuned Mask R-CNN, significantly boosting segmentation accuracy in occluded and complex conditions. Extensive validation reveals that our enhanced SAM-6D surpasses FoundationPose in zero-shot pose estimation of unseen surgical instruments, setting a new benchmark for zero-shot RGB-D pose estimation in RMIS. This work enhances the generalisability of pose estimation for unseen objects and pioneers the application of RGB-D zero-shot methods in RMIS.
• Abstract（参考訳）: ロボットによる最小侵襲手術(RMIS)における手術器具の正確なポーズ推定は,手術ナビゲーションとロボット制御に不可欠である。 従来のマーカーベースの手法は正確性を提供するが、オクルージョンやリフレクション、ツール固有の設計といった課題に直面している。 同様に、教師付き学習手法は注釈付きデータセットの広範なトレーニングを必要とし、新しいツールへの適応性を制限する。 他の領域での成功にもかかわらず、ゼロショットポーズ推定モデルは、手術器具のポーズ推定のためにRMISでまだ探索されていない。 本稿では,FoundationPose や SAM-6D のような最先端のゼロショット RGB-D モデルを利用して,手術器具の6自由度ポーズ推定パイプラインを提案する。 RAFT-Stereo法を用いて, 反射・テクスチャレス環境下での強靭な深度推定に視覚に基づく深度推定を組み込むことにより, これらのモデルを改良した。 さらに,Segment Anything Model (SAM) を微調整した Mask R-CNN に置き換えることにより,SAM-6D の精度を向上した。 拡張SAM-6DがファンデーションPoseを上回り、未確認の手術器具のゼロショットポーズ推定を行い、RMISにおけるゼロショットRGB-Dポーズ推定のための新しいベンチマークを設定した。 この研究は、見えない物体に対するポーズ推定の一般性を高め、RMISにおけるRGB-Dゼロショット法の適用の先駆者となった。

関連論文リスト

• SurgRIPE challenge: Benchmark of Surgical Robot Instrument Pose Estimation [32.9422323323913]
  手術器具のポーズ推定のための視覚的手法は、ツールトラッキングに実践的なアプローチを提供するが、多くの場合、器具にマーカを取り付ける必要がある。 近年,ディープラーニングに基づくマーカーレス手法の開発に焦点が当てられている。 2023年の第26回医用画像コンピューティング・コンピュータ支援介入国際会議(MICCAI)で開催されているSurgRIPE(SurgRIPE)の課題について紹介する。 SurgRIPEチャレンジは、この分野の新しいベンチマークを確立することに成功し、外科用ロボット機器のポーズ推定におけるさらなる研究と開発を奨励している。
  論文  参考訳（メタデータ） (2025-01-06T13:02:44Z)
• Robotic Arm Platform for Multi-View Image Acquisition and 3D Reconstruction in Minimally Invasive Surgery [40.55055153469741]
  本研究は,低侵襲手術環境下でのマルチビュー画像の効率的な取得と高精度な3次元再構成を実現するロボットアームプラットフォームを提案する。 我々は,腹腔鏡をロボットアームに装着し,様々な照明条件で複数の卵巣器官の生検画像を撮影した。 我々は最近リリースされた学習ベースの特徴マッチングとCOLMAPを併用して再構築を行った。
  論文  参考訳（メタデータ） (2024-10-15T15:42:30Z)
• Realistic Data Generation for 6D Pose Estimation of Surgical Instruments [4.226502078427161]
  手術器具の6次元ポーズ推定は,手術操作の自動実行を可能にするために重要である。 家庭や工業環境では、3Dコンピュータグラフィックスソフトウェアで生成された合成データが、アノテーションコストを最小限に抑える代替手段として示されている。 本稿では,大規模・多様なデータセットの自動生成を可能にする外科ロボティクスのシミュレーション環境の改善を提案する。
  論文  参考訳（メタデータ） (2024-06-11T14:59:29Z)
• Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries [7.630289691590948]
  X線システムにおける6-DoFポーズ推定タスクのための汎用的なデータ取得手法を提案する。 提案したYOLOv5-6Dのポーズモデルは、GPU上で42FPSでかなり高速ながら、公開ベンチマーク上での競合的な結果を達成する。 このモデルはADD-S測定値の0.1倍の92.41%を達成し,手術精度の向上と患者の予後向上に有望なアプローチを示す。
  論文  参考訳（メタデータ） (2024-05-19T21:35:12Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• Redefining the Laparoscopic Spatial Sense: AI-based Intra- and Postoperative Measurement from Stereoimages [3.2039076408339353]
  立体視を用いた腹腔鏡計測のための人体AIを用いた新しい手法を開発した。 本研究は, 総合的質的要件分析に基づいて, 包括的測定法を提案する。 提案手法が1mm以下の誤差で精度の高い距離測定を実現する可能性について概説した。
  論文  参考訳（メタデータ） (2023-11-16T10:19:04Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [64.59698930334012]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation [88.8963330073454]
  自己教師付き学習による新しい単眼6次元ポーズ推定手法を提案する。 ノイズの多い学生のトレーニングと差別化可能なレンダリングの現在の傾向を活用して、モデルをさらに自己監督する。 提案する自己超越法は,合成データに依存する他の方法よりも優れている。
  論文  参考訳（メタデータ） (2022-03-19T15:12:06Z)
• Self6D: Self-Supervised Monocular 6D Object Pose Estimation [114.18496727590481]
  自己教師付き学習による単眼6次元ポーズ推定のアイデアを提案する。 ニューラルレンダリングの最近の進歩を活用して、注釈のない実RGB-Dデータのモデルをさらに自己監督する。
  論文  参考訳（メタデータ） (2020-04-14T13:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。