論文の概要: Video-based Surgical Skills Assessment using Long term Tool Tracking
- arxiv url: http://arxiv.org/abs/2207.02247v1
- Date: Tue, 5 Jul 2022 18:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 13:12:21.955137
- Title: Video-based Surgical Skills Assessment using Long term Tool Tracking
- Title（参考訳）: 長期ツールトラッキングを用いたビデオによる手術スキル評価
- Authors: Mona Fathollahi, Mohammad Hasan Sarhan, Ramon Pena, Lela DiMonte,
Anshu Gupta, Aishani Ataliwala, Jocelyn Barker
- Abstract要約: 手術症例ビデオフィードから外科的スキルを自動評価するための動きに基づくアプローチを提案する。
提案されたパイプラインは、まず外科的ツールを確実に追跡し、運動軌跡を作成する。
提案手法と最先端追跡手法を用いて,トランスフォーマーに基づくスキルアセスメントと従来の機械学習手法を比較した。
- 参考スコア（独自算出の注目度）: 0.3324986723090368
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Mastering the technical skills required to perform surgery is an extremely
challenging task. Video-based assessment allows surgeons to receive feedback on
their technical skills to facilitate learning and development. Currently, this
feedback comes primarily from manual video review, which is time-intensive and
limits the feasibility of tracking a surgeon's progress over many cases. In
this work, we introduce a motion-based approach to automatically assess
surgical skills from surgical case video feed. The proposed pipeline first
tracks surgical tools reliably to create motion trajectories and then uses
those trajectories to predict surgeon technical skill levels. The tracking
algorithm employs a simple yet effective re-identification module that improves
ID-switch compared to other state-of-the-art methods. This is critical for
creating reliable tool trajectories when instruments regularly move on- and
off-screen or are periodically obscured. The motion-based classification model
employs a state-of-the-art self-attention transformer network to capture short-
and long-term motion patterns that are essential for skill evaluation. The
proposed method is evaluated on an in-vivo (Cholec80) dataset where an
expert-rated GOALS skill assessment of the Calot Triangle Dissection is used as
a quantitative skill measure. We compare transformer-based skill assessment
with traditional machine learning approaches using the proposed and
state-of-the-art tracking. Our result suggests that using motion trajectories
from reliable tracking methods is beneficial for assessing surgeon skills based
solely on video streams.
- Abstract（参考訳）: 手術に必要な技術スキルを習得することは、非常に難しい課題です。
ビデオベースの評価により、外科医は技術スキルのフィードバックを受け取り、学習と開発を促進することができる。
現在、このフィードバックは主に手動のビデオレビューから得られており、これは時間集約的で、多くの場合、外科医の進捗を追跡する可能性を制限する。
本研究では,手術用ビデオフィードから手術スキルを自動的に評価するモーションベースアプローチを提案する。
提案するパイプラインは,まず手術用具を追跡して運動軌跡を作成し,その軌跡を用いて術技レベルを予測する。
トラッキングアルゴリズムは、他の最先端手法に比べてidスイッチを改善する単純かつ効果的な再識別モジュールを採用している。
これは、楽器が定期的に画面上や画面外を移動するときや、定期的にあいまいになるとき、信頼できるツール軌跡を作成するために重要である。
動きに基づく分類モデルは、最先端の自己認識型トランスフォーマーネットワークを用いて、スキル評価に不可欠な短期的および長期的な動きパターンをキャプチャする。
提案手法は,Calot Triangle Dissectionの専門家評価GOALSスキルアセスメントを定量的に評価した in-vivo (Cholec80) データセットを用いて評価する。
トランスフォーマティブに基づくスキルアセスメントを,提案手法と最先端追跡手法を用いて従来の機械学習手法と比較する。
以上の結果から,映像ストリームのみに基づく外科医のスキル評価には,信頼度の高いトラッキング手法による運動軌跡の利用が有用であることが示唆された。
関連論文リスト
- Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment [66.6041949490137]
そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。
以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。
本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
論文 参考訳（メタデータ） (2024-11-17T00:13:00Z) - Surgical tool classification and localization: results and methods from
the MICCAI 2022 SurgToolLoc challenge [69.91670788430162]
SurgLoc 2022 チャレンジの結果を示す。
目標は、ツール検出のためにトレーニングされた機械学習モデルにおいて、ツールの存在データを弱いラベルとして活用することだった。
これらの結果を機械学習と手術データ科学の幅広い文脈で論じることで結論付ける。
論文 参考訳（メタデータ） (2023-05-11T21:44:39Z) - Demonstration-Guided Reinforcement Learning with Efficient Exploration
for Task Automation of Surgical Robot [54.80144694888735]
効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。
本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。
総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-02-20T05:38:54Z) - Video-based assessment of intraoperative surgical skill [7.79874072121082]
本稿では,RGBビデオを用いて直接スキル評価を行う2つのディープラーニング手法を提案し,検証する。
第1の方法は,楽器の先端をキーポイントとして予測し,時間的畳み込みニューラルネットワークを用いて外科的スキルを学ぶことである。
第2の方法では,フレームワイド・エンコーダ(2次元畳み込みニューラルネットワーク)と時間モデル(リカレントニューラルネットワーク)を含む外科的スキル評価のための新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-05-13T01:45:22Z) - Video-based Formative and Summative Assessment of Surgical Tasks using
Deep Learning [0.8612287536028312]
本稿では,外科的スキル実行の高精度な評価を自動的かつ客観的に行うことができる深層学習(DL)モデルを提案する。
整形性評価は外科的パフォーマンスと相関する視覚特徴のヒートマップを用いて生成される。
論文 参考訳（メタデータ） (2022-03-17T20:07:48Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-02T17:44:40Z) - Real-time Informative Surgical Skill Assessment with Gaussian Process
Learning [12.019641896240245]
本研究は,ESSBSのためのガウス的プロセス学習に基づく自動的客観的外科的スキル評価手法を提案する。
提案手法は,計測器の動きを内視鏡座標に投影し,データ次元を減少させる。
実験結果から,完全外科手術における100%の予測精度と,リアルタイムの予測評価における90%の精度が得られた。
論文 参考訳（メタデータ） (2021-12-05T15:35:40Z) - Using Computer Vision to Automate Hand Detection and Tracking of Surgeon
Movements in Videos of Open Surgery [8.095095522269352]
コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。
オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。
本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
論文 参考訳（メタデータ） (2020-12-13T03:10:09Z) - Learning Motion Flows for Semi-supervised Instrument Segmentation from
Robotic Surgical Video [64.44583693846751]
本研究は,スパースアノテーションを用いたロボット手術ビデオから半教師楽器のセグメンテーションについて検討する。
生成されたデータペアを利用することで、我々のフレームワークはトレーニングシーケンスの時間的一貫性を回復し、強化することができます。
その結果,本手法は最先端の半教師あり手法よりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-06T02:39:32Z) - Recurrent and Spiking Modeling of Sparse Surgical Kinematics [0.8458020117487898]
ますます多くの研究が、手術ロボットが捉えたビデオやキネマティックなデータを機械学習で分析している。
本研究では,同様のスキルレベルの外科医を予測するために,キネマティックデータのみを用いることの可能性を検討する。
本報告では, 運動特性のみに基づいて, シミュレーションエクササイズにおいて, ほぼ完全スコアの手術者を特定することが可能である。
論文 参考訳（メタデータ） (2020-05-12T15:41:45Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳（メタデータ） (2020-04-21T09:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。