論文の概要: Surgment: Segmentation-enabled Semantic Search and Creation of Visual Question and Feedback to Support Video-Based Surgery Learning

• arxiv url: http://arxiv.org/abs/2402.17903v1
• Date: Tue, 27 Feb 2024 21:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 17:05:59.187119
• Title: Surgment: Segmentation-enabled Semantic Search and Creation of Visual Question and Feedback to Support Video-Based Surgery Learning
• Title（参考訳）: Surgment: セグメンテーション対応セマンティック検索と視覚質問作成とビデオベースの手術学習支援へのフィードバック
• Authors: Jingying Wang, Haoran Tang, Taylor Kantor, Tandis Soltani, Vitaliy Popov and Xu Wang
• Abstract要約: Surgmentは、専門家の外科医が手術記録に基づいたフィードバックで運動を作成するのを助けるシステムだ。 セグメンテーションパイプラインは、外科医が望む視覚的な質問やフィードバックを作成することができる。 11名の外科医による評価研究において、被験者は関心のフレームを特定するための検索・バイ・スケッチ・アプローチを称賛し、結果として得られた画像に基づく質問やフィードバックは高い教育的価値を持つことがわかった。
• 参考スコア（独自算出の注目度）: 4.509082876666929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Videos are prominent learning materials to prepare surgical trainees before they enter the operating room (OR). In this work, we explore techniques to enrich the video-based surgery learning experience. We propose Surgment, a system that helps expert surgeons create exercises with feedback based on surgery recordings. Surgment is powered by a few-shot-learning-based pipeline (SegGPT+SAM) to segment surgery scenes, achieving an accuracy of 92\%. The segmentation pipeline enables functionalities to create visual questions and feedback desired by surgeons from a formative study. Surgment enables surgeons to 1) retrieve frames of interest through sketches, and 2) design exercises that target specific anatomical components and offer visual feedback. In an evaluation study with 11 surgeons, participants applauded the search-by-sketch approach for identifying frames of interest and found the resulting image-based questions and feedback to be of high educational value.
• Abstract（参考訳）: ビデオは手術室(OR)に入る前に手術訓練生を準備するための顕著な学習材料である。 本研究では,ビデオベースの手術学習体験を充実させる技術を探究する。 Surgmentは、外科医が手術記録に基づいたフィードバックで演習を作成するのを支援するシステムである。 Surgmentは、数ショットの学習ベースのパイプライン(SegGPT+SAM)を使用して、手術シーンを分割し、精度92\%を達成する。 セグメンテーションパイプラインは、フォーマティブな研究から外科医が望む視覚的な質問やフィードバックを作成することができる。 サージメントは外科医が 1)スケッチを通して興味のあるフレームを取得し、 2)特定の解剖学的コンポーネントをターゲットにした視覚的フィードバックを提供する設計演習。 11名の外科医による評価研究において、被験者は関心のフレームを特定するための検索・バイ・スケッチ・アプローチを称賛し、画像に基づく質問とフィードバックは高い教育的価値を持つことがわかった。

関連論文リスト

• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [55.15365161143354]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• Thoracic Surgery Video Analysis for Surgical Phase Recognition [0.08706730566331035]
  我々は,11種類の位相からなる胸部手術データセットを用いて,フレームベースおよびビデオクリッピングに基づく位相認識の解析と評価を行った。 ImageNet ViTによる52.31%に比べて,Masked Video Distillation(MVD)は72.9%の精度で優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-13T14:47:57Z)
• Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
  外科的フィードバックの5カテゴリー分類を臨床的に検証した。 次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。 我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
  論文  参考訳（メタデータ） (2023-12-06T01:59:47Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [51.78027546947034]
  外科的コンピュータビジョンの最近の進歩は、言語意味論に欠ける視覚のみのモデルによって推進されている。 本稿では,eラーニングプラットフォームからの手術ビデオ講義を活用し,効果的な視覚情報と言語監督信号を提供する。 テキスト書き起こしのための複数自動音声認識システムを用いて,手術固有の言語課題に対処する。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Using Hand Pose Estimation To Automate Open Surgery Training Feedback [0.0]
  本研究は,外科医の自動訓練における最先端のコンピュータビジョンアルゴリズムの利用を促進することを目的としている。 2次元手のポーズを推定することにより,手の動きをモデル化し,手術器具との相互作用をモデル化する。
  論文  参考訳（メタデータ） (2022-11-13T21:47:31Z)
• Quantification of Robotic Surgeries with Vision-Based Deep Learning [45.165919577877695]
  本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。 我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
  論文  参考訳（メタデータ） (2022-05-06T06:08:35Z)
• CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
  腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。 課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
  論文  参考訳（メタデータ） (2022-04-10T18:51:55Z)
• ESAD: Endoscopic Surgeon Action Detection Dataset [10.531648619593572]
  本研究の目的は,外科医の動作を意識させることで,手術支援ロボットをより安全にすることである。 実世界の内視鏡的ビデオにおいて,外科的行動検出のための挑戦的なデータセットを導入する。
  論文  参考訳（メタデータ） (2020-06-12T13:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。