論文の概要: Detection and Localization of Robotic Tools in Robot-Assisted Surgery
Videos Using Deep Neural Networks for Region Proposal and Detection
- arxiv url: http://arxiv.org/abs/2008.00936v1
- Date: Wed, 29 Jul 2020 10:59:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 20:36:09.872849
- Title: Detection and Localization of Robotic Tools in Robot-Assisted Surgery
Videos Using Deep Neural Networks for Region Proposal and Detection
- Title（参考訳）: 深部ニューラルネットワークを用いたロボット支援手術ビデオにおけるロボットツールの検出と位置推定
- Authors: Duygu Sarikaya, Jason J. Corso and Khurshid A. Guru
- Abstract要約: 本稿では,RASビデオ理解におけるツール検出と局所化の解法を提案する。
本稿では,マルチモーダル畳み込みニューラルネットワークを用いたRASビデオにおけるツールの高速検出とローカライズのためのアーキテクチャを提案する。
平均精度91%, 平均時間0.1秒で測定した結果, 従来の医用画像撮影法よりも優れた結果が得られた。
- 参考スコア（独自算出の注目度）: 30.042965489804356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video understanding of robot-assisted surgery (RAS) videos is an active
research area. Modeling the gestures and skill level of surgeons presents an
interesting problem. The insights drawn may be applied in effective skill
acquisition, objective skill assessment, real-time feedback, and human-robot
collaborative surgeries. We propose a solution to the tool detection and
localization open problem in RAS video understanding, using a strictly computer
vision approach and the recent advances of deep learning. We propose an
architecture using multimodal convolutional neural networks for fast detection
and localization of tools in RAS videos. To our knowledge, this approach will
be the first to incorporate deep neural networks for tool detection and
localization in RAS videos. Our architecture applies a Region Proposal Network
(RPN), and a multi-modal two stream convolutional network for object detection,
to jointly predict objectness and localization on a fusion of image and
temporal motion cues. Our results with an Average Precision (AP) of 91% and a
mean computation time of 0.1 seconds per test frame detection indicate that our
study is superior to conventionally used methods for medical imaging while also
emphasizing the benefits of using RPN for precision and efficiency. We also
introduce a new dataset, ATLAS Dione, for RAS video understanding. Our dataset
provides video data of ten surgeons from Roswell Park Cancer Institute (RPCI)
(Buffalo, NY) performing six different surgical tasks on the daVinci Surgical
System (dVSS R ) with annotations of robotic tools per frame.
- Abstract（参考訳）: ロボット支援手術(RAS)ビデオの映像理解は活発な研究分野である。
外科医のジェスチャーとスキルレベルをモデル化することは興味深い問題である。
得られた洞察は、効果的なスキル獲得、客観的スキル評価、リアルタイムフィードバック、人間とロボットの協調手術に応用できる。
我々は、厳密なコンピュータビジョンアプローチと近年のディープラーニングの進歩を利用して、RASビデオ理解におけるツール検出と局所化の解法を提案する。
本稿では,マルチモーダル畳み込みニューラルネットワークを用いたRASビデオにおけるツールの高速検出とローカライズのためのアーキテクチャを提案する。
我々の知る限り、このアプローチは、RASビデオにツール検出とローカライゼーションのためのディープニューラルネットワークを最初に組み込むものだ。
本アーキテクチャでは,画像と時間的動きの融合による目的性と位置の同時予測を行うために,地域提案ネットワーク(RPN)とオブジェクト検出のためのマルチモーダル2ストリーム畳み込みネットワークを適用している。
平均精度 (ap) は91%であり, 平均計算時間は0.1秒であったことから, 従来の医用画像撮影法よりも優れており, 精度と効率にrpnを用いることの利点も強調した。
また、RASビデオ理解のための新しいデータセットATLAS Dioneを導入する。
我々のデータセットは、Roswell Park Cancer Institute (RPCI)(ニューヨーク州バッファロー)の10人の外科医がdaVinci surgery System (dVSS R )で6種類の異なる手術作業をこなすビデオデータを提供する。
関連論文リスト
- Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳（メタデータ） (2023-01-17T21:41:21Z) - Deep Learning Computer Vision Algorithms for Real-time UAVs On-board
Camera Image Processing [77.34726150561087]
本稿では,ディープラーニングに基づくコンピュータビジョンアルゴリズムを用いて,小型UAVのリアルタイムセンサ処理を実現する方法について述べる。
すべてのアルゴリズムは、ディープニューラルネットワークに基づく最先端の画像処理手法を用いて開発されている。
論文 参考訳（メタデータ） (2022-11-02T11:10:42Z) - Video-based assessment of intraoperative surgical skill [7.79874072121082]
本稿では,RGBビデオを用いて直接スキル評価を行う2つのディープラーニング手法を提案し,検証する。
第1の方法は,楽器の先端をキーポイントとして予測し,時間的畳み込みニューラルネットワークを用いて外科的スキルを学ぶことである。
第2の方法では,フレームワイド・エンコーダ(2次元畳み込みニューラルネットワーク)と時間モデル(リカレントニューラルネットワーク)を含む外科的スキル評価のための新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-05-13T01:45:22Z) - Dynamic Gesture Recognition [0.0]
従来のコンピュータビジョンアルゴリズムの代わりに、機械学習を使って画像や動画を分類することができる。
このプロジェクトの目的は、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の共生を構築することである。
論文 参考訳（メタデータ） (2021-09-20T09:45:29Z) - A Novel Deep ML Architecture by Integrating Visual Simultaneous
Localization and Mapping (vSLAM) into Mask R-CNN for Real-time Surgical Video
Analysis [0.0]
本研究では,新しい機械学習アーキテクチャであるRPM-CNNを作成し,リアルタイム手術解析を行った。
RPM-CNNは視覚的同時ローカライゼーションとマッピング(vSLAM)をMask R-CNNに統合する。
RPM-CNNのリアルタイムトップパフォーマンスを現実世界に適用するために、Microsoft HoloLens 2アプリケーションを開発した。
論文 参考訳（メタデータ） (2021-03-31T06:59:13Z) - One to Many: Adaptive Instrument Segmentation via Meta Learning and
Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。
ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。
2つのデータセットで他の最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-03-24T05:02:18Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z) - Real-Time Instrument Segmentation in Robotic Surgery using Auxiliary
Supervised Deep Adversarial Learning [15.490603884631764]
ロボット機器と組織のリアルタイムセマンティックセグメンテーションは、ロボット支援手術において重要なステップである。
我々は,高解像度ビデオから手術器具を分割する軽量カスケード畳み込みニューラルネットワーク(CNN)を開発した。
高解像度ビデオの予測精度とセグメンテーション時間の両方において,術具の画素単位のセグメンテーションのための既存のアルゴリズムを超越していることを示す。
論文 参考訳（メタデータ） (2020-07-22T10:16:07Z) - Automatic Operating Room Surgical Activity Recognition for
Robot-Assisted Surgery [1.1033115844630357]
ロボット支援手術における自動手術活動認識について検討した。
400本のフル長マルチパースペクティブビデオを含む,最初の大規模データセットを収集する。
ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
論文 参考訳（メタデータ） (2020-06-29T16:30:31Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳（メタデータ） (2020-04-21T09:21:22Z) - Automatic Gesture Recognition in Robot-assisted Surgery with
Reinforcement Learning and Tree Search [63.07088785532908]
共同手術におけるジェスチャー分割と分類のための強化学習と木探索に基づく枠組みを提案する。
我々のフレームワークは,JIGSAWSデータセットのサチューリングタスクにおいて,精度,編集スコア,F1スコアの点で,既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2020-02-20T13:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。