論文の概要: Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment

• arxiv url: http://arxiv.org/abs/2411.10919v1
• Date: Sun, 17 Nov 2024 00:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:14.821889
• Title: Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment
• Title（参考訳）: 外科的フィードバックの有効性評価のためのマルチモーダル自己監視学習
• Authors: Arushi Gupta, Rafal Kocielnik, Jiayun Wang, Firdavs Nasriddinov, Cherine Yang, Elyssa Wong, Anima Anandkumar, Andrew Hung,
• Abstract要約: そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。 以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。 本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
• 参考スコア（独自算出の注目度）: 66.6041949490137
• License:
• Abstract: During surgical training, real-time feedback from trainers to trainees is important for preventing errors and enhancing long-term skill acquisition. Accurately predicting the effectiveness of this feedback, specifically whether it leads to a change in trainee behavior, is crucial for developing methods for improving surgical training and education. However, relying on human annotations to assess feedback effectiveness is laborious and prone to biases, underscoring the need for an automated, scalable, and objective method. Creating such an automated system poses challenges, as it requires an understanding of both the verbal feedback delivered by the trainer and the visual context of the real-time surgical scene. To address this, we propose a method that integrates information from transcribed verbal feedback and corresponding surgical video to predict feedback effectiveness. Our findings show that both transcribed feedback and surgical video are individually predictive of trainee behavior changes, and their combination achieves an AUROC of 0.70+/-0.02, improving prediction accuracy by up to 6.6%. Additionally, we introduce self-supervised fine-tuning as a strategy for enhancing surgical video representation learning, which is scalable and further enhances prediction performance. Our results demonstrate the potential of multi-modal learning to advance the automated assessment of surgical feedback.
• Abstract（参考訳）: 外科訓練中,訓練者から訓練者へのリアルタイムフィードバックは,エラーの防止と長期的スキル獲得の促進に重要である。 このフィードバックの有効性、特に訓練者の行動の変化につながるかどうかを正確に予測することは、外科訓練と教育を改善する方法の開発に不可欠である。 しかしながら、フィードバックの有効性を評価するための人的アノテーションに頼るのは手間がかかり、バイアスが発生しやすいため、自動化され、スケーラブルで、客観的な方法の必要性が強調される。 このような自動システムを構築することは、トレーナーによる言葉によるフィードバックとリアルタイム手術シーンの視覚的コンテキストの両方を理解する必要があるため、課題となる。 そこで本研究では,音声による音声フィードバックとそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。 以上の結果から,書き起こしフィードバックと手術映像は訓練者の行動変化を個別に予測し,AUROCは0.70+/-0.02となり,予測精度は最大6.6%向上した。 さらに,手術映像表現学習の強化戦略として,自己指導型微調整を導入し,よりスケーラブルで予測性能が向上した。 本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。

関連論文リスト

• Video-based Surgical Skill Assessment using Tree-based Gaussian Process Classifier [2.3964255330849356]
  本稿では,ビデオデータを用いた外科的スキル評価のための新しいパイプラインを提案する。 このパイプラインには、表現フロー畳み込みニューラルネットワークと、新しいツリーベースのガウスプロセス分類器が組み込まれている。 提案手法は,術者間のスキル向上を促進し,患者の安全性を高める可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-15T21:06:22Z)
• Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
  外科的フィードバックの5カテゴリー分類を臨床的に検証した。 次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。 我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
  論文  参考訳（メタデータ） (2023-12-06T01:59:47Z)
• Design, Development, and Evaluation of an Interactive Personalized Social Robot to Monitor and Coach Post-Stroke Rehabilitation Exercises [68.37238218842089]
  パーソナライズされたリハビリテーションのための対話型ソーシャルロボット運動指導システムを開発した。 このシステムは、ニューラルネットワークモデルとルールベースのモデルを統合し、患者のリハビリテーション運動を自動的に監視し、評価する。 我々のシステムは,新たな参加者に適応し,専門家の合意レベルに匹敵する,エクササイズを評価するための平均パフォーマンス0.81を達成できる。
  論文  参考訳（メタデータ） (2023-05-12T17:37:04Z)
• Automated Fidelity Assessment for Strategy Training in Inpatient Rehabilitation using Natural Language Processing [53.096237570992294]
  戦略トレーニング (Strategy Training) とは、脳卒中後の認知障害患者に障害を減らすためのスキルを教える、リハビリテーションのアプローチである。 標準化された忠実度評価は治療原則の遵守度を測定するために用いられる。 本研究では,ルールベースNLPアルゴリズム,長短項メモリ(LSTM)モデル,および変換器(BERT)モデルからの双方向エンコーダ表現を開発した。
  論文  参考訳（メタデータ） (2022-09-14T15:33:30Z)
• Video-based Surgical Skills Assessment using Long term Tool Tracking [0.3324986723090368]
  手術症例ビデオフィードから外科的スキルを自動評価するための動きに基づくアプローチを提案する。 提案されたパイプラインは、まず外科的ツールを確実に追跡し、運動軌跡を作成する。 提案手法と最先端追跡手法を用いて,トランスフォーマーに基づくスキルアセスメントと従来の機械学習手法を比較した。
  論文  参考訳（メタデータ） (2022-07-05T18:15:28Z)
• Video-based Formative and Summative Assessment of Surgical Tasks using Deep Learning [0.8612287536028312]
  本稿では,外科的スキル実行の高精度な評価を自動的かつ客観的に行うことができる深層学習(DL)モデルを提案する。 整形性評価は外科的パフォーマンスと相関する視覚特徴のヒートマップを用いて生成される。
  論文  参考訳（メタデータ） (2022-03-17T20:07:48Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。