論文の概要: Using Hand Pose Estimation To Automate Open Surgery Training Feedback
- arxiv url: http://arxiv.org/abs/2211.07021v2
- Date: Thu, 30 Mar 2023 19:14:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 17:20:01.833659
- Title: Using Hand Pose Estimation To Automate Open Surgery Training Feedback
- Title（参考訳）: 手のポーズ推定を用いた開手術訓練フィードバックの自動化
- Authors: Eddie Bkheet, Anne-Lise D'Angelo, Adam Goldbraikh, Shlomi Laufer
- Abstract要約: 本研究は,外科医の自動訓練における最先端のコンピュータビジョンアルゴリズムの利用を促進することを目的としている。
2次元手のポーズを推定することにより,手の動きをモデル化し,手術器具との相互作用をモデル化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose: This research aims to facilitate the use of state-of-the-art
computer vision algorithms for the automated training of surgeons and the
analysis of surgical footage. By estimating 2D hand poses, we model the
movement of the practitioner's hands, and their interaction with surgical
instruments, to study their potential benefit for surgical training.
Methods: We leverage pre-trained models on a publicly-available hands dataset
to create our own in-house dataset of 100 open surgery simulation videos with
2D hand poses. We also assess the ability of pose estimations to segment
surgical videos into gestures and tool-usage segments and compare them to
kinematic sensors and I3D features. Furthermore, we introduce 6 novel surgical
dexterity proxies stemming from domain experts' training advice, all of which
our framework can automatically detect given raw video footage.
Results: State-of-the-art gesture segmentation accuracy of 88.35\% on the
Open Surgery Simulation dataset is achieved with the fusion of 2D poses and I3D
features from multiple angles. The introduced surgical skill proxies presented
significant differences for novices compared to experts and produced actionable
feedback for improvement.
Conclusion: This research demonstrates the benefit of pose estimations for
open surgery by analyzing their effectiveness in gesture segmentation and skill
assessment. Gesture segmentation using pose estimations achieved comparable
results to physical sensors while being remote and markerless. Surgical
dexterity proxies that rely on pose estimation proved they can be used to work
towards automated training feedback. We hope our findings encourage additional
collaboration on novel skill proxies to make surgical training more efficient.
- Abstract（参考訳）: 目的: 本研究の目的は, 外科医の自動訓練と手術映像の分析に最先端のコンピュータビジョンアルゴリズムを使用することである。
2次元手のポーズを推定することにより,練習者の手の動きと手術器具との相互作用をモデル化し,手術訓練における有用性について検討した。
方法: 2dのポーズで100本のオープン手術シミュレーションビデオの独自のデータセットを作成するために,事前トレーニングされたモデルを公開のハンドデータセット上で活用する。
また,手術映像をジェスチャやツール使用セグメントに分割する姿勢推定能力を評価し,運動センサやi3d機能と比較した。
さらに,本手法では生の映像から自動的に検出できる領域の専門家のトレーニングアドバイスから生じる6種類の新しい手術用デキスタリティプロキシを導入する。
結果:複数角度からの2DポーズとI3D特徴の融合により,Open Surgery Simulationデータセットの最先端ジェスチャーセグメンテーション精度88.35\%を達成する。
導入した手術スキルプロキシは,熟練者に比べて初心者に有意な差を示し,改善のための行動的フィードバックが得られた。
結語:本研究は,ジェスチャー分割とスキルアセスメントの有効性を解析し,開腹手術におけるポーズ推定の利点を示す。
ポーズ推定を用いたジェスチャーセグメンテーションは、リモートかつマーカーレスで物理的センサーと同等の結果を得た。
ポーズ推定に依存する外科的デキスタリティプロキシは、自動トレーニングフィードバックに向けた作業に使用できることを示した。
外科的訓練をより効率的にするための,新たなスキルプロキシのさらなるコラボレーションが期待できる。
関連論文リスト
- Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment [66.6041949490137]
そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。
以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。
本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
論文 参考訳（メタデータ） (2024-11-17T00:13:00Z) - Automated Surgical Skill Assessment in Endoscopic Pituitary Surgery using Real-time Instrument Tracking on a High-fidelity Bench-top Phantom [9.41936397281689]
外科的スキルの改善は一般的に患者の成績の改善に関連しているが、評価は主観的であり、労働集約的である。
内視鏡下垂体手術の鼻相を模範として,シミュレートされた手術に焦点を当てた新しい公開データセットが導入された。
多層パーセプトロンは87%の精度で手術技量(初心者または専門家)を予測し、「可視時間測定のための全手術時間の割合」は高度な手術技量と相関した。
論文 参考訳（メタデータ） (2024-09-25T15:27:44Z) - Realistic Data Generation for 6D Pose Estimation of Surgical Instruments [4.226502078427161]
手術器具の6次元ポーズ推定は,手術操作の自動実行を可能にするために重要である。
家庭や工業環境では、3Dコンピュータグラフィックスソフトウェアで生成された合成データが、アノテーションコストを最小限に抑える代替手段として示されている。
本稿では,大規模・多様なデータセットの自動生成を可能にする外科ロボティクスのシミュレーション環境の改善を提案する。
論文 参考訳（メタデータ） (2024-06-11T14:59:29Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - SAR-RARP50: Segmentation of surgical instrumentation and Action
Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。
この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。
合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
論文 参考訳（メタデータ） (2023-12-31T13:32:18Z) - Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip
Segmentation in Robotic Surgeries [29.201385352740555]
そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。
具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。
クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
論文 参考訳（メタデータ） (2023-09-02T14:52:58Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳（メタデータ） (2022-04-10T18:51:55Z) - Using Computer Vision to Automate Hand Detection and Tracking of Surgeon
Movements in Videos of Open Surgery [8.095095522269352]
コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。
オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。
本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
論文 参考訳（メタデータ） (2020-12-13T03:10:09Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z) - Recurrent and Spiking Modeling of Sparse Surgical Kinematics [0.8458020117487898]
ますます多くの研究が、手術ロボットが捉えたビデオやキネマティックなデータを機械学習で分析している。
本研究では,同様のスキルレベルの外科医を予測するために,キネマティックデータのみを用いることの可能性を検討する。
本報告では, 運動特性のみに基づいて, シミュレーションエクササイズにおいて, ほぼ完全スコアの手術者を特定することが可能である。
論文 参考訳（メタデータ） (2020-05-12T15:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。