論文の概要: SurgTrack: CAD-Free 3D Tracking of Real-world Surgical Instruments
- arxiv url: http://arxiv.org/abs/2409.02598v1
- Date: Wed, 4 Sep 2024 10:29:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 19:10:42.903604
- Title: SurgTrack: CAD-Free 3D Tracking of Real-world Surgical Instruments
- Title（参考訳）: SurgTrack:CADのないリアルな手術器具の3D追跡
- Authors: Wenwu Guo, Jinlin Wu, Zhen Chen, Qingxiang Zhao, Miao Xu, Zhen Lei, Hongbin Liu,
- Abstract要約: 視覚に基づく手術ナビゲーションは、非侵襲的で費用対効果があり柔軟な利点のために注目されている。
特に、視覚ベースのナビゲーションシステムの重要な要素は、手術器具を追跡することである。
CADフリーでロバストな実世界のアプリケーションのための2段階の3D計測手法であるSurgTrackを提案する。
- 参考スコア（独自算出の注目度）: 21.536823332387993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-based surgical navigation has received increasing attention due to its non-invasive, cost-effective, and flexible advantages. In particular, a critical element of the vision-based navigation system is tracking surgical instruments. Compared with 2D instrument tracking methods, 3D instrument tracking has broader value in clinical practice, but is also more challenging due to weak texture, occlusion, and lack of Computer-Aided Design (CAD) models for 3D registration. To solve these challenges, we propose the SurgTrack, a two-stage 3D instrument tracking method for CAD-free and robust real-world applications. In the first registration stage, we incorporate an Instrument Signed Distance Field (SDF) modeling the 3D representation of instruments, achieving CAD-freed 3D registration. Due to this, we can obtain the location and orientation of instruments in the 3D space by matching the video stream with the registered SDF model. In the second tracking stage, we devise a posture graph optimization module, leveraging the historical tracking results of the posture memory pool to optimize the tracking results and improve the occlusion robustness. Furthermore, we collect the Instrument3D dataset to comprehensively evaluate the 3D tracking of surgical instruments. The extensive experiments validate the superiority and scalability of our SurgTrack, by outperforming the state-of-the-arts with a remarkable improvement. The code and dataset are available at https://github.com/wenwucode/SurgTrack.
- Abstract（参考訳）: 視覚に基づく手術ナビゲーションは、非侵襲的で費用対効果があり柔軟な利点のために注目されている。
特に、視覚ベースのナビゲーションシステムの重要な要素は、手術器具を追跡することである。
2次元計器追跡法と比較すると, 3次元計器追跡法は臨床実践においてより大きな価値を持っているが, テクスチャの弱さ, 閉塞性, 3次元登録のためのコンピュータ支援設計(CAD)モデルが欠如していることから, より困難である。
これらの課題を解決するために,CADフリーで堅牢な実世界のアプリケーションのための2段階の3D機器追跡手法であるSurgTrackを提案する。
第1登録段階では,楽器の3次元表現をモデル化し,CADフリーな3次元登録を実現する。
これにより、ビデオストリームと登録されたSDFモデルとをマッチングすることにより、3次元空間における楽器の位置と向きを求めることができる。
第2の追跡段階において、姿勢グラフ最適化モジュールを考案し、姿勢記憶プールの履歴追跡結果を利用して追跡結果を最適化し、閉塞堅牢性を向上させる。
さらに,手術器具の3D追跡を総合的に評価するために,インスツルメンツ3Dデータセットを収集した。
SurgTrackの優れた性能とスケーラビリティは、最先端技術よりも優れたパフォーマンスで実現されている。
コードとデータセットはhttps://github.com/wenwucode/SurgTrack.comから入手できる。
関連論文リスト
- DELTA: Dense Efficient Long-range 3D Tracking for any video [82.26753323263009]
DELTAは3次元空間内のすべてのピクセルを効率よく追跡し,ビデオ全体の正確な動き推定を可能にする手法である。
提案手法では,低分解能追跡のためのグローバルアテンション機構と,高分解能予測を実現するためのトランスフォーマーベースアップサンプラーを併用する。
提案手法は,3次元空間における細粒度・長期動作追跡を必要とするアプリケーションに対して,ロバストなソリューションを提供する。
論文 参考訳（メタデータ） (2024-10-31T17:59:01Z) - SLAM assisted 3D tracking system for laparoscopic surgery [22.36252790404779]
本研究は,登録後タスクのためのリアルタイムモノクル3D追跡アルゴリズムを提案する。
in-vivoおよびex-vivoテストによる実験では、提案された3Dトラッキングシステムが堅牢な3Dトラッキングを提供することが示された。
論文 参考訳（メタデータ） (2024-09-18T04:00:54Z) - WARM-3D: A Weakly-Supervised Sim2Real Domain Adaptation Framework for Roadside Monocular 3D Object Detection [23.07748567871443]
既存の路面認識システムは、公開され、大規模で高品質な3Dデータセットが存在しないために制限されている。
我々はTUMTraf Syntheticデータセットを導入し,高品質な3Dデータの多種多様なコレクションを提供する。
また,道路側モノクロ3D検出のためのSim2Realドメイン転送を支援するフレームワークであるWARM-3Dを提案する。
論文 参考訳（メタデータ） (2024-07-30T13:32:34Z) - TAPVid-3D: A Benchmark for Tracking Any Point in 3D [63.060421798990845]
我々は,3Dにおける任意の点の追跡作業を評価するための新しいベンチマークTAPVid-3Dを導入する。
このベンチマークは、モノクロビデオから正確な3Dの動きと表面の変形を理解する能力を改善するためのガイドポストとして機能する。
論文 参考訳（メタデータ） (2024-07-08T13:28:47Z) - Plug-in for visualizing 3D tool tracking from videos of Minimally
Invasive Surgeries [0.6629765271909505]
ミニマル侵襲手術(MIS)における計測器追跡と3次元可視化の課題に取り組む。
従来のロボット支援MISは、2Dカメラプロジェクションの制限と最小限のハードウェア統合で問題に遭遇する。
提案手法は,セグメンテーションマップに基づく2次元追跡を伴い,広範囲の地底知識を伴わないラベル付きデータセットの作成を容易にする。
論文 参考訳（メタデータ） (2024-01-12T11:04:39Z) - CXTrack: Improving 3D Point Cloud Tracking with Contextual Information [59.55870742072618]
3Dオブジェクトトラッキングは、自律運転など、多くのアプリケーションにおいて重要な役割を果たす。
CXTrackは3次元オブジェクト追跡のためのトランスフォーマーベースのネットワークである。
CXTrackは29FPSで動作しながら最先端のトラッキング性能を実現する。
論文 参考訳（メタデータ） (2022-11-12T11:29:01Z) - 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration [22.808962211830675]
本稿では,3次元追跡のための高精度かつリアルタイムな手法について検討する。
両眼ビデオシーケンス、深度マップ、様々な小惑星の点雲を含む、新しい大規模な3D小惑星追跡データセットが提示されている。
深層学習に基づく3DトラッキングフレームワークTrack3Dを提案する。このフレームワークは,2次元単分子トラッカーと,新しい軽量アモーダル軸整合バウンディングボックスネットワークであるA3BoxNetを備える。
論文 参考訳（メタデータ） (2021-11-21T04:14:45Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳（メタデータ） (2021-04-23T17:59:28Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳（メタデータ） (2021-04-06T02:22:24Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single
Object Tracking [12.644452175343059]
3Dオブジェクト追跡の主な課題は、適切な3D候補を生成するための検索スペースを減らす方法である。
3Dプロポーザルに頼る代わりに、2D領域プロポーザルを生成し、それを3Dビューイングフラストラムに出力する。
我々は3次元フラストラム上でオンラインの精度検証を行い、洗練された点雲探索空間を生成する。
論文 参考訳（メタデータ） (2020-10-22T08:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。