論文の概要: ZEAL: Surgical Skill Assessment with Zero-shot Tool Inference Using Unified Foundation Model
- arxiv url: http://arxiv.org/abs/2407.02738v1
- Date: Wed, 3 Jul 2024 01:20:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 15:54:34.732887
- Title: ZEAL: Surgical Skill Assessment with Zero-shot Tool Inference Using Unified Foundation Model
- Title（参考訳）: ZEAL:Unified Foundation Modelを用いたゼロショットツール推論による外科的スキル評価
- Authors: Satoshi Kondo,
- Abstract要約: 本研究はZEAL (unifiEd foundAtion modeLを用いたゼロショット手術ツールセグメンテーションによる外科的スキル評価)について紹介する。
ZEALはセグメンテーションマスクを予測し、楽器と周辺の両方の本質的な特徴を捉えている。
外科的スキルスコアを生成し、客観的な熟練度を提供する。
- 参考スコア（独自算出の注目度）: 0.07143413923310668
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Surgical skill assessment is paramount for ensuring patient safety and enhancing surgical outcomes. This study addresses the need for efficient and objective evaluation methods by introducing ZEAL (surgical skill assessment with Zero-shot surgical tool segmentation with a unifiEd foundAtion modeL). ZEAL uses segmentation masks of surgical instruments obtained through a unified foundation model for proficiency assessment. Through zero-shot inference with text prompts, ZEAL predicts segmentation masks, capturing essential features of both instruments and surroundings. Utilizing sparse convolutional neural networks and segmentation masks, ZEAL extracts feature vectors for foreground (instruments) and background. Long Short-Term Memory (LSTM) networks encode temporal dynamics, modeling sequential data and dependencies in surgical videos. Combining LSTM-encoded vectors, ZEAL produces a surgical skill score, offering an objective measure of proficiency. Comparative analysis with conventional methods using open datasets demonstrates ZEAL's superiority, affirming its potential in advancing surgical training and evaluation. This innovative approach to surgical skill assessment addresses challenges in traditional supervised learning techniques, paving the way for enhanced surgical care quality and patient outcomes.
- Abstract（参考訳）: 外科的スキルアセスメントは、患者の安全を確保し、外科的成果を高めるために最重要である。
本研究は,ZEAL(Zero-shot surgery tool segmentation with a unifiEd foundAtion modeL)を導入することにより,効率的かつ客観的な評価方法の必要性に対処するものである。
ZEALは、熟練度評価のための統一基盤モデルを通じて得られた手術器具のセグメンテーションマスクを使用する。
テキストプロンプトによるゼロショット推論を通じて、ZEALはセグメンテーションマスクを予測し、楽器と周辺の両方の本質的な特徴を捉える。
スパース畳み込みニューラルネットワークとセグメンテーションマスクを利用して、ZEALは前景(施設)と背景の特徴ベクトルを抽出する。
長期記憶(LSTM)ネットワークは、時間力学を符号化し、手術ビデオのシーケンシャルデータと依存関係をモデル化する。
LSTM符号化ベクターを組み合わせることで、ZEALは手術スキルスコアを生成し、熟練度を客観的に測定する。
オープンデータセットを用いた従来の手法との比較分析は、ZEALの優位性を示し、手術訓練の進行と評価の可能性を実証している。
外科的スキルアセスメントに対するこの革新的なアプローチは、従来の教師あり学習技術における課題に対処し、外科的ケアの質と患者の成果を高めるための道を開く。
関連論文リスト
- OSSAR: Towards Open-Set Surgical Activity Recognition in Robot-assisted
Surgery [13.843251369739908]
本稿では,OSSAR(Open-Set Surgery Activity Recognition)フレームワークについて紹介する。
提案手法は超球面逆点戦略を利用して特徴空間における未知クラスと未知クラスとの区別を強化する。
我々の主張をサポートするために、公開JIGSAWSデータセットを利用したオープンセットの外科的活動ベンチマークを構築した。
論文 参考訳（メタデータ） (2024-02-10T16:23:12Z) - Hypergraph-Transformer (HGT) for Interactive Event Prediction in
Laparoscopic and Robotic Surgery [50.3022015601057]
腹腔内ビデオから外科的ワークフローの重要なインタラクティブな側面を理解し,予測できる予測型ニューラルネットワークを提案する。
我々は,既存の手術用データセットとアプリケーションに対するアプローチを検証し,アクション・トリプレットの検出と予測を行った。
この結果は、非構造的な代替案と比較して、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2024-02-03T00:58:05Z) - SAR-RARP50: Segmentation of surgical instrumentation and Action
Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。
この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。
合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
論文 参考訳（メタデータ） (2023-12-31T13:32:18Z) - ST(OR)2: Spatio-Temporal Object Level Reasoning for Activity Recognition
in the Operating Room [6.132617753806978]
ORにおける外科的活動認識のための新しい試料効率およびオブジェクトベースアプローチを提案する。
本手法は, 臨床医と手術器具の幾何学的配置に着目し, ORにおける重要な物体相互作用のダイナミクスを活用する。
論文 参考訳（メタデータ） (2023-12-19T15:33:57Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳（メタデータ） (2023-08-17T02:51:01Z) - Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。
医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。
外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
論文 参考訳（メタデータ） (2022-07-01T14:17:11Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳（メタデータ） (2022-04-10T18:51:55Z) - Real-time Informative Surgical Skill Assessment with Gaussian Process
Learning [12.019641896240245]
本研究は,ESSBSのためのガウス的プロセス学習に基づく自動的客観的外科的スキル評価手法を提案する。
提案手法は,計測器の動きを内視鏡座標に投影し,データ次元を減少させる。
実験結果から,完全外科手術における100%の予測精度と,リアルタイムの予測評価における90%の精度が得られた。
論文 参考訳（メタデータ） (2021-12-05T15:35:40Z) - Towards Unified Surgical Skill Assessment [18.601526803020885]
自動手術スキル評価のための統合型マルチパスフレームワークを提案する。
手術シミュレーションのJIGSAWSデータセットと腹腔鏡下手術の新たな臨床データセットについて実験を行った。
論文 参考訳（メタデータ） (2021-06-02T09:06:43Z) - Surgical Skill Assessment on In-Vivo Clinical Data via the Clearness of
Operating Field [18.643159726513133]
本論文では,実際の臨床データセットを用いて外科的スキルアセスメントについて検討する。
手術領域のクリアネス(COF)は総合的な外科的スキルの指標として有用である。
COFのプロキシを通じて外科的スキルを予測するための,客観的かつ自動化されたフレームワークを提案する。
実験では, 提案手法はスピアマンの0.55の相関性を, 総合技術技術の基礎的真理と比較した。
論文 参考訳（メタデータ） (2020-08-27T07:12:16Z) - Automatic Gesture Recognition in Robot-assisted Surgery with
Reinforcement Learning and Tree Search [63.07088785532908]
共同手術におけるジェスチャー分割と分類のための強化学習と木探索に基づく枠組みを提案する。
我々のフレームワークは,JIGSAWSデータセットのサチューリングタスクにおいて,精度,編集スコア,F1スコアの点で,既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2020-02-20T13:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。