論文の概要: Automatic Operating Room Surgical Activity Recognition for
Robot-Assisted Surgery
- arxiv url: http://arxiv.org/abs/2006.16166v1
- Date: Mon, 29 Jun 2020 16:30:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:47:56.072289
- Title: Automatic Operating Room Surgical Activity Recognition for
Robot-Assisted Surgery
- Title(参考訳): ロボット支援手術における自動手術室動作認識
- Authors: Aidean Sharghi, Helene Haugerud, Daniel Oh, Omid Mohareri
- Abstract要約: ロボット支援手術における自動手術活動認識について検討した。
400本のフル長マルチパースペクティブビデオを含む,最初の大規模データセットを収集する。
ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
- 参考スコア(独自算出の注目度): 1.1033115844630357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic recognition of surgical activities in the operating room (OR) is a
key technology for creating next generation intelligent surgical devices and
workflow monitoring/support systems. Such systems can potentially enhance
efficiency in the OR, resulting in lower costs and improved care delivery to
the patients. In this paper, we investigate automatic surgical activity
recognition in robot-assisted operations. We collect the first large-scale
dataset including 400 full-length multi-perspective videos from a variety of
robotic surgery cases captured using Time-of-Flight cameras. We densely
annotate the videos with 10 most recognized and clinically relevant classes of
activities. Furthermore, we investigate state-of-the-art computer vision action
recognition techniques and adapt them for the OR environment and the dataset.
First, we fine-tune the Inflated 3D ConvNet (I3D) for clip-level activity
recognition on our dataset and use it to extract features from the videos.
These features are then fed to a stack of 3 Temporal Gaussian Mixture layers
which extracts context from neighboring clips, and eventually go through a Long
Short Term Memory network to learn the order of activities in full-length
videos. We extensively assess the model and reach a peak performance of 88%
mean Average Precision.
- Abstract(参考訳): 手術室(OR)における外科的活動の自動認識は、次世代のインテリジェントな手術装置とワークフローモニタリング/サポートシステムを作成するための鍵となる技術である。
このようなシステムはORの効率を高める可能性があり、その結果、コストが低下し、患者へのケア提供が改善する。
本稿では,ロボット支援手術における自動手術活動認識について検討する。
我々は、Time-of-Flightカメラで捉えたさまざまなロボット手術症例から400本のフル長のマルチパースペクティブビデオを含む、最初の大規模データセットを収集した。
ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
さらに,最先端のコンピュータビジョン行動認識技術を調査し,環境やデータセットに適用する。
まず、データセット上のクリップレベルのアクティビティ認識のためにInflated 3D ConvNet(I3D)を微調整し、ビデオから特徴を抽出する。
これらの機能は、隣接するクリップからコンテキストを抽出し、最終的にLong Short Term Memoryネットワークを通過してフル長ビデオのアクティビティの順序を学習する3つのテンポラルガウス混合層に供給される。
モデルを広範囲に評価し,平均精度88%のピーク性能を達成した。
関連論文リスト
- Thoracic Surgery Video Analysis for Surgical Phase Recognition [0.08706730566331035]
我々は,11種類の位相からなる胸部手術データセットを用いて,フレームベースおよびビデオクリッピングに基づく位相認識の解析と評価を行った。
ImageNet ViTによる52.31%に比べて,Masked Video Distillation(MVD)は72.9%の精度で優れた性能を示した。
論文 参考訳(メタデータ) (2024-06-13T14:47:57Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳(メタデータ) (2024-03-25T13:09:40Z) - GLSFormer : Gated - Long, Short Sequence Transformer for Step
Recognition in Surgical Videos [57.93194315839009]
本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。
本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
論文 参考訳(メタデータ) (2023-07-20T17:57:04Z) - Surgical tool classification and localization: results and methods from
the MICCAI 2022 SurgToolLoc challenge [69.91670788430162]
SurgLoc 2022 チャレンジの結果を示す。
目標は、ツール検出のためにトレーニングされた機械学習モデルにおいて、ツールの存在データを弱いラベルとして活用することだった。
これらの結果を機械学習と手術データ科学の幅広い文脈で論じることで結論付ける。
論文 参考訳(メタデータ) (2023-05-11T21:44:39Z) - AutoLaparo: A New Dataset of Integrated Multi-tasks for Image-guided
Surgical Automation in Laparoscopic Hysterectomy [42.20922574566824]
ヒステリクトミー手術における学習ベースの自動化を容易にするために,複数の画像に基づく知覚タスクを組み込んだ最初の統合データセットを提示,リリースする。
我々のAutoLaparoデータセットは、全子宮摘出術のフル長ビデオに基づいて開発されている。
具体的には、外科的ワークフロー認識、腹腔鏡運動予測、機器とキー解剖のセグメンテーションを含む、3つの異なる高相関なタスクがデータセットで定式化されている。
論文 参考訳(メタデータ) (2022-08-03T13:17:23Z) - Adaptation of Surgical Activity Recognition Models Across Operating
Rooms [10.625208343893911]
手術室における手術活動認識モデルの一般化可能性について検討した。
外科的活動認識モデルの性能を向上させるための新しい領域適応法を提案する。
論文 参考訳(メタデータ) (2022-07-07T04:41:34Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳(メタデータ) (2022-04-10T18:51:55Z) - Using Human Gaze For Surgical Activity Recognition [0.40611352512781856]
手術映像における活動認識のための空間的時間的注意機構を備えた人間の視線の利用を提案する。
我々のモデルは、I3Dベースのアーキテクチャで構成され、3D畳み込みを用いて時間的特徴を学習し、人間の視線を用いて注意マップを学習する。
論文 参考訳(メタデータ) (2022-03-09T14:28:00Z) - Using Computer Vision to Automate Hand Detection and Tracking of Surgeon
Movements in Videos of Open Surgery [8.095095522269352]
コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。
オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。
本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
論文 参考訳(メタデータ) (2020-12-13T03:10:09Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳(メタデータ) (2020-04-21T09:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。