論文の概要: Quantification of Robotic Surgeries with Vision-Based Deep Learning
- arxiv url: http://arxiv.org/abs/2205.03028v1
- Date: Fri, 6 May 2022 06:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 19:48:28.159873
- Title: Quantification of Robotic Surgeries with Vision-Based Deep Learning
- Title(参考訳): 視覚に基づく深層学習によるロボット手術の定量化
- Authors: Dani Kiyasseh, Runzhuo Ma, Taseen F. Haque, Jessica Nguyen, Christian
Wagner, Animashree Anandkumar, Andrew J. Hung
- Abstract要約: 本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。
我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
- 参考スコア(独自算出の注目度): 45.165919577877695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Surgery is a high-stakes domain where surgeons must navigate critical
anatomical structures and actively avoid potential complications while
achieving the main task at hand. Such surgical activity has been shown to
affect long-term patient outcomes. To better understand this relationship,
whose mechanics remain unknown for the majority of surgical procedures, we
hypothesize that the core elements of surgery must first be quantified in a
reliable, objective, and scalable manner. We believe this is a prerequisite for
the provision of surgical feedback and modulation of surgeon performance in
pursuit of improved patient outcomes. To holistically quantify surgeries, we
propose a unified deep learning framework, entitled Roboformer, which operates
exclusively on videos recorded during surgery to independently achieve multiple
tasks: surgical phase recognition (the what of surgery), gesture classification
and skills assessment (the how of surgery). We validated our framework on four
video-based datasets of two commonly-encountered types of steps (dissection and
suturing) within minimally-invasive robotic surgeries. We demonstrated that our
framework can generalize well to unseen videos, surgeons, medical centres, and
surgical procedures. We also found that our framework, which naturally lends
itself to explainable findings, identified relevant information when achieving
a particular task. These findings are likely to instill surgeons with more
confidence in our framework's behaviour, increasing the likelihood of clinical
adoption, and thus paving the way for more targeted surgical feedback.
- Abstract(参考訳): 手術は、外科医が重要な解剖学的構造をナビゲートし、手作業のメインタスクを完了しながら、潜在的な合併症を積極的に回避しなければならない、高度な領域である。
このような外科的活動は長期の患者に影響を及ぼすことが示されている。
この関係をよりよく理解するために, 外科手術のほとんどにおいてメカニックが未知のままであり, 手術の核となる要素はまず, 信頼性, 客観的, スケーラブルな方法で定量化する必要があると仮定した。
これは外科的フィードバックと手術成績の調整が患者の予後を改善するための前提条件であると信じている。
外科的位相認識(手術の意味)、ジェスチャー分類(手術の仕方)、スキルアセスメント(手術の仕方)を独立に行うために,手術中に記録されたビデオのみを対象とする統合型深層学習フレームワークRoboformerを提案する。
ミニマル侵襲型ロボット手術における2種類のステップ(分割と縫合)の4つのビデオベースデータセットの枠組みを検証した。
当フレームワークは, ビデオ, 外科医, 医療センター, 外科手術などに応用できることを実証した。
また,本フレームワークは自然に説明可能な発見に役立ち,特定のタスクを遂行する際の関連情報を同定した。
これらの発見は、我々の枠組みの行動に自信を持ち、臨床採用の可能性を高め、より標的となる外科的フィードバックへの道を開く可能性がある。
関連論文リスト
- VS-Assistant: Versatile Surgery Assistant on the Demand of Surgeons [29.783300422432763]
外科医の意図を正確に理解できるVersatile Surgery Assistant (VS-Assistant)を提案する。
我々は,VS-Assistantが外科的意図を理解できるように,外科的ケア・チューニング戦略を考案した。
論文 参考訳(メタデータ) (2024-05-14T02:05:36Z) - Hypergraph-Transformer (HGT) for Interactive Event Prediction in
Laparoscopic and Robotic Surgery [50.3022015601057]
腹腔内ビデオから外科的ワークフローの重要なインタラクティブな側面を理解し,予測できる予測型ニューラルネットワークを提案する。
我々は,既存の手術用データセットとアプリケーションに対するアプローチを検証し,アクション・トリプレットの検出と予測を行った。
この結果は、非構造的な代替案と比較して、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2024-02-03T00:58:05Z) - SAR-RARP50: Segmentation of surgical instrumentation and Action
Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。
この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。
合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
論文 参考訳(メタデータ) (2023-12-31T13:32:18Z) - Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
外科的フィードバックの5カテゴリー分類を臨床的に検証した。
次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。
我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
論文 参考訳(メタデータ) (2023-12-06T01:59:47Z) - Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using Reinforcement and Imitation Learning [18.72371138886818]
眼内白内障手術における外科医中心の自律エージェントに対する画像誘導アプローチを提案する。
外科医の行動と嗜好をトレーニングプロセスに統合することにより、ロボットは個々の外科医のユニークなテクニックを暗黙的に学習し、適応することができる。
論文 参考訳(メタデータ) (2023-11-29T15:00:06Z) - Safe Deep RL for Intraoperative Planning of Pedicle Screw Placement [61.28459114068828]
安全な深部強化学習(DRL)に基づく訓練経路計画にリアルタイムな観察を活用するロボット脊椎手術の術中計画手法を提案する。
本手法は,ゴールドスタンダード (GS) 掘削計画に関して,90%の骨貫通を達成できた。
論文 参考訳(メタデータ) (2023-05-09T11:42:53Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳(メタデータ) (2022-04-10T18:51:55Z) - Real-time Informative Surgical Skill Assessment with Gaussian Process
Learning [12.019641896240245]
本研究は,ESSBSのためのガウス的プロセス学習に基づく自動的客観的外科的スキル評価手法を提案する。
提案手法は,計測器の動きを内視鏡座標に投影し,データ次元を減少させる。
実験結果から,完全外科手術における100%の予測精度と,リアルタイムの予測評価における90%の精度が得られた。
論文 参考訳(メタデータ) (2021-12-05T15:35:40Z) - Towards Unified Surgical Skill Assessment [18.601526803020885]
自動手術スキル評価のための統合型マルチパスフレームワークを提案する。
手術シミュレーションのJIGSAWSデータセットと腹腔鏡下手術の新たな臨床データセットについて実験を行った。
論文 参考訳(メタデータ) (2021-06-02T09:06:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。