論文の概要: SurGPT: A Multi-Task Foundation Model for Robotic Surgical Skills Assessment and Gesture Recognition
- arxiv url: http://arxiv.org/abs/2610.25426v1
- Date: Sun, 18 Oct 2026 17:33:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:29:04.968859
- Title: SurGPT: A Multi-Task Foundation Model for Robotic Surgical Skills Assessment and Gesture Recognition
- Title（参考訳）: SurGPT: ロボット手術技能評価とジェスチャー認識のためのマルチタスク基礎モデル
- Abstract要約: 本研究では,ロボットの手術映像を自動的に解析し,総合的なスキル評価とジェスチャー理解を実現する基盤モデルを構築した。
このモデルは、da Vinci手術ロボットからのシーケンスを処理し、手術動作の人間可読なテキスト記述を生成する。
このモデルが外科的ジェスチャーの自然言語記述を生成する能力は、自動的な外科教育の新たな可能性を開く。
- 参考スコア（独自算出の注目度）: 43.26304448943429
- License:
- Abstract: The assessment of surgical skills in robotic surgery training has traditionally relied on subjective evaluations by human experts, creating bottlenecks in surgical education and limiting scalability. We present a novel foundation model that automatically analyzes robotic surgical videos to provide comprehensive skill assessment and gesture understanding. Combining a visual encoder with a transformer architecture, the model performs three key tasks simultaneously: 1) surgical task classification (knot tying, needle passing, suturing), 2) skill level assessment on a standardized scale, and 3) natural language generation of surgical gesture descriptions. The model processes video sequences from the da Vinci surgical robot and generates human-readable text descriptions of surgical actions, similar to how language models generate text from prompts, using a multi-task learning framework with adaptive uncertainty weighting to optimize performance across all objectives. Our transformer-based architecture incorporates positional encoding for temporal understanding and attention mechanisms for spatiotemporal feature integration. Evaluated on the da Vinci Skills Simulator dataset, the proposed framework demonstrates state-of-the-art performance in surgical task recognition and provides interpretable skill assessments that correlate with expert evaluations, with the model's ability to generate natural language descriptions of surgical gestures opening new possibilities for automated surgical education, real-time feedback systems, and objective skill assessment in surgical training and certification programs.
- Abstract（参考訳）: ロボット外科訓練における外科的スキルの評価は、伝統的に人間の専門家による主観的評価に依存しており、外科教育におけるボトルネックとスケーラビリティの制限を生み出している。
本稿では,ロボット手術ビデオを自動的に解析し,総合的なスキルアセスメントとジェスチャー理解を提供する基盤モデルを提案する。
ビジュアルエンコーダとトランスフォーマーアーキテクチャを組み合わせることで、モデルは3つの重要なタスクを同時に実行する。
1)外科的作業分類(結び目、針通し、縫合)
2)標準化された尺度におけるスキルレベルの評価
3)外科的ジェスチャー記述の自然言語生成
このモデルは、da Vinci手術ロボットからのビデオシーケンスを処理し、言語モデルがプロンプトからテキストを生成する方法に似た、手術動作の可読なテキスト記述を生成する。
変換器をベースとしたアーキテクチャでは,時空間的理解のための位置符号化と時空間的特徴統合のための注意機構が組み込まれている。
da Vinci Skills Simulatorデータセットをベースとして,外科的タスク認識における最先端のパフォーマンスを実証し,専門的評価と相関する解釈可能なスキルアセスメントを提供するとともに,外科的ジェスチャーの自然言語記述を生成することによって,外科的手術教育,リアルタイムフィードバックシステム,外科的訓練および認定プログラムにおける客観的スキルアセスメントの新たな可能性を開く。
関連論文リスト
- Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning [38.92917942078039]
11,000本以上のビデオクリップを含む6つの外科専門分野にわたる10の基本的なアクションからなるBSAデータセットを提案する。
BSAデータセットに基づいて,基本動作の汎用認識を行う基盤モデルを開発した。
論文 参考訳（メタデータ） (2026-03-13T08:46:25Z) - SurgTPGS: Semantic 3D Surgical Scene Understanding with Text Promptable Gaussian Splatting [45.16104996137126]
本稿では,このギャップを埋めるために,新しいテキストプロンプタブルなガウス分割法であるSurgTPGSを提案する。
本研究では,意味的特徴のシームレスな変形を捉え,テクスチャと意味的特徴の双方をより正確に再構築する意味認識変形追跡法を提案する。
本研究では,SurgTPGSの最先端技術に対する優位性を示すために,実世界の2つの外科的データセットの総合的な実験を行った。
論文 参考訳（メタデータ） (2025-06-29T15:55:01Z) - Automating Feedback Analysis in Surgical Training: Detection, Categorization, and Assessment [65.70317151363204]
本研究は,非構造化現実記録からの外科的対話を再構築するための最初の枠組みを紹介する。
外科訓練では,ライブ手術中に訓練者に提供する形式的言語フィードバックは,安全性の確保,行動の即時修正,長期的スキル獲得の促進に不可欠である。
本フレームワークは,音声活動の検出,話者ダイアリゼーション,自動音声認識と,幻覚を除去する新たな拡張機能を統合する。
論文 参考訳（メタデータ） (2024-12-01T10:35:12Z) - Enhancing Surgical Performance in Cardiothoracic Surgery with
Innovations from Computer Vision and Artificial Intelligence: A Narrative
Review [12.241487673677517]
このナラティブレビューは、技術的および非技術的外科的スキル、タスクパフォーマンス、ポーズ推定に関する研究をまとめたものである。
これは、コンピュータビジョンと人工知能の革新によって、心胸部外科的パフォーマンスを向上する新たな機会を描いている。
論文 参考訳（メタデータ） (2024-02-17T14:16:25Z) - Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
外科的フィードバックの5カテゴリー分類を臨床的に検証した。
次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。
我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
論文 参考訳（メタデータ） (2023-12-06T01:59:47Z) - Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。
これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。
本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
論文 参考訳（メタデータ） (2023-07-27T22:38:12Z) - Video-based Formative and Summative Assessment of Surgical Tasks using
Deep Learning [0.8612287536028312]
本稿では,外科的スキル実行の高精度な評価を自動的かつ客観的に行うことができる深層学習(DL)モデルを提案する。
整形性評価は外科的パフォーマンスと相関する視覚特徴のヒートマップを用いて生成される。
論文 参考訳（メタデータ） (2022-03-17T20:07:48Z) - Real-time Informative Surgical Skill Assessment with Gaussian Process
Learning [12.019641896240245]
本研究は,ESSBSのためのガウス的プロセス学習に基づく自動的客観的外科的スキル評価手法を提案する。
提案手法は,計測器の動きを内視鏡座標に投影し,データ次元を減少させる。
実験結果から,完全外科手術における100%の予測精度と,リアルタイムの予測評価における90%の精度が得られた。
論文 参考訳（メタデータ） (2021-12-05T15:35:40Z) - Multi-Task Recurrent Neural Network for Surgical Gesture Recognition and
Progress Prediction [17.63619129438996]
本稿では,手術動作の同時認識のためのマルチタスクリカレントニューラルネットワークを提案する。
マルチタスクフレームワークでは,手作業によるラベリングやトレーニングを伴わずに,進捗推定による認識性能が向上することが実証された。
論文 参考訳（メタデータ） (2020-03-10T14:28:02Z) - Automatic Gesture Recognition in Robot-assisted Surgery with
Reinforcement Learning and Tree Search [63.07088785532908]
共同手術におけるジェスチャー分割と分類のための強化学習と木探索に基づく枠組みを提案する。
我々のフレームワークは,JIGSAWSデータセットのサチューリングタスクにおいて,精度,編集スコア,F1スコアの点で,既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2020-02-20T13:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。