論文の概要: Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment

• arxiv url: http://arxiv.org/abs/2411.10919v1
• Date: Sun, 17 Nov 2024 00:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:14.821889
• Title: Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment
• Title（参考訳）: 外科的フィードバックの有効性評価のためのマルチモーダル自己監視学習
• Authors: Arushi Gupta, Rafal Kocielnik, Jiayun Wang, Firdavs Nasriddinov, Cherine Yang, Elyssa Wong, Anima Anandkumar, Andrew Hung,
• Abstract要約: そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。 以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。 本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
• 参考スコア（独自算出の注目度）: 66.6041949490137
• License:
• Abstract: During surgical training, real-time feedback from trainers to trainees is important for preventing errors and enhancing long-term skill acquisition. Accurately predicting the effectiveness of this feedback, specifically whether it leads to a change in trainee behavior, is crucial for developing methods for improving surgical training and education. However, relying on human annotations to assess feedback effectiveness is laborious and prone to biases, underscoring the need for an automated, scalable, and objective method. Creating such an automated system poses challenges, as it requires an understanding of both the verbal feedback delivered by the trainer and the visual context of the real-time surgical scene. To address this, we propose a method that integrates information from transcribed verbal feedback and corresponding surgical video to predict feedback effectiveness. Our findings show that both transcribed feedback and surgical video are individually predictive of trainee behavior changes, and their combination achieves an AUROC of 0.70+/-0.02, improving prediction accuracy by up to 6.6%. Additionally, we introduce self-supervised fine-tuning as a strategy for enhancing surgical video representation learning, which is scalable and further enhances prediction performance. Our results demonstrate the potential of multi-modal learning to advance the automated assessment of surgical feedback.
• Abstract（参考訳）: 外科訓練中,訓練者から訓練者へのリアルタイムフィードバックは,エラーの防止と長期的スキル獲得の促進に重要である。 このフィードバックの有効性、特に訓練者の行動の変化につながるかどうかを正確に予測することは、外科訓練と教育を改善する方法の開発に不可欠である。 しかしながら、フィードバックの有効性を評価するための人的アノテーションに頼るのは手間がかかり、バイアスが発生しやすいため、自動化され、スケーラブルで、客観的な方法の必要性が強調される。 このような自動システムを構築することは、トレーナーによる言葉によるフィードバックとリアルタイム手術シーンの視覚的コンテキストの両方を理解する必要があるため、課題となる。 そこで本研究では,音声による音声フィードバックとそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。 以上の結果から,書き起こしフィードバックと手術映像は訓練者の行動変化を個別に予測し,AUROCは0.70+/-0.02となり,予測精度は最大6.6%向上した。 さらに,手術映像表現学習の強化戦略として,自己指導型微調整を導入し,よりスケーラブルで予測性能が向上した。 本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。

関連論文リスト

• An Automated Machine Learning Framework for Surgical Suturing Action Detection under Class Imbalance [1.2043621020930133]
  解釈可能なアウトプットによる外科的動作のリアルタイム検出は,自動的かつリアルタイムな指導フィードバックとスキル開発に不可欠である。 本稿では,経験者および研修医双方から収集した手術行動データに基づいて,自動機械学習手法を用いた迅速な展開手法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T12:47:36Z)
• Automating Feedback Analysis in Surgical Training: Detection, Categorization, and Assessment [65.70317151363204]
  本研究は,非構造化現実記録からの外科的対話を再構築するための最初の枠組みを紹介する。 外科訓練では,ライブ手術中に訓練者に提供する形式的言語フィードバックは,安全性の確保,行動の即時修正,長期的スキル獲得の促進に不可欠である。 本フレームワークは,音声活動の検出,話者ダイアリゼーション,自動音声認識と,幻覚を除去する新たな拡張機能を統合する。
  論文  参考訳（メタデータ） (2024-12-01T10:35:12Z)
• Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
  外科的フィードバックの5カテゴリー分類を臨床的に検証した。 次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。 我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
  論文  参考訳（メタデータ） (2023-12-06T01:59:47Z)
• Design, Development, and Evaluation of an Interactive Personalized Social Robot to Monitor and Coach Post-Stroke Rehabilitation Exercises [68.37238218842089]
  パーソナライズされたリハビリテーションのための対話型ソーシャルロボット運動指導システムを開発した。 このシステムは、ニューラルネットワークモデルとルールベースのモデルを統合し、患者のリハビリテーション運動を自動的に監視し、評価する。 我々のシステムは,新たな参加者に適応し,専門家の合意レベルに匹敵する,エクササイズを評価するための平均パフォーマンス0.81を達成できる。
  論文  参考訳（メタデータ） (2023-05-12T17:37:04Z)
• Video-based Formative and Summative Assessment of Surgical Tasks using Deep Learning [0.8612287536028312]
  本稿では,外科的スキル実行の高精度な評価を自動的かつ客観的に行うことができる深層学習(DL)モデルを提案する。 整形性評価は外科的パフォーマンスと相関する視覚特徴のヒートマップを用いて生成される。
  論文  参考訳（メタデータ） (2022-03-17T20:07:48Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。