論文の概要: Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning

• arxiv url: http://arxiv.org/abs/2603.12787v1
• Date: Fri, 13 Mar 2026 08:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.000036
• Title: Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning
• Title（参考訳）: スキルアセスメントとビジョンランゲージモデルに基づく手術計画を可能にする基本的手術行動の一般認識
• Authors: Mengya Xu, Daiyun Shen, Jie Zhang, Hon Chi Yip, Yujia Gao, Cheng Chen, Dillan Imans, Yonghao Long, Yiru Ye, Yixiao Liu, Rongyun Mai, Kai Chen, Hongliang Ren, Yutong Ban, Guangsuo Wang, Francis Wong, Chi-Fai Ng, Kee Yuan Ngiam, Russell H. Taylor, Daguang Xu, Yueming Jin, Qi Dou,
• Abstract要約: 11,000本以上のビデオクリップを含む6つの外科専門分野にわたる10の基本的なアクションからなるBSAデータセットを提案する。 BSAデータセットに基づいて,基本動作の汎用認識を行う基盤モデルを開発した。
• 参考スコア（独自算出の注目度）: 38.92917942078039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence, imaging, and large language models have the potential to transform surgical practice, training, and automation. Understanding and modeling of basic surgical actions (BSA), the fundamental unit of operation in any surgery, is important to drive the evolution of this field. In this paper, we present a BSA dataset comprising 10 basic actions across 6 surgical specialties with over 11,000 video clips, which is the largest to date. Based on the BSA dataset, we developed a new foundation model that conducts general-purpose recognition of basic actions. Our approach demonstrates robust cross-specialist performance in experiments validated on datasets from different procedural types and various body parts. Furthermore, we demonstrate downstream applications enabled by the BAS foundation model through surgical skill assessment in prostatectomy using domain-specific knowledge, and action planning in cholecystectomy and nephrectomy using large vision-language models. Multinational surgeons' evaluation of the language model's output of the action planning explainable texts demonstrated clinical relevance. These findings indicate that basic surgical actions can be robustly recognized across scenarios, and an accurate BSA understanding model can essentially facilitate complex applications and speed up the realization of surgical superintelligence.
• Abstract（参考訳）: 人工知能、イメージング、および大きな言語モデルは、外科的練習、訓練、自動化を変革する可能性がある。 外科手術の基本単位である基本手術動作(BSA)の理解とモデル化は,この領域の進化を促進する上で重要である。 本稿では,6つの外科専門分野にまたがる10の基本的なアクションからなるBSAデータセットについて,これまでで最大となる11,000本以上のビデオクリップを提示する。 BSAデータセットに基づいて,基本動作の汎用認識を行う基盤モデルを開発した。 提案手法は,異なる手続き型および様々な身体部位のデータセットを用いて検証した実験において,堅牢なクロススペシャリスト性能を示す。 さらに,前立腺摘出術における外科的技能評価と,胆嚢摘出術および腎摘出術における大きな視覚言語モデルを用いた行動計画を通じて,BASファンデーションモデルにより実現された下流的応用を実証した。 多国籍外科医によるアクションプランニング可能なテキストの言語モデルによるアウトプットの評価は臨床関連性を示した。 以上より,BSAの正確な理解モデルにより,外科的超知能の実現を促進できる可能性が示唆された。

関連論文リスト

• A generalizable foundation model for intraoperative understanding across surgical procedures [1.0412442875956527]
  術中画像理解のための汎用基盤モデルであるZENを導入し,21以上の術式から400万フレーム以上をトレーニングした。 ZENは、既存の外科的基礎モデルより一貫して優れており、堅牢な多目的一般化を実証している。
  論文  参考訳（メタデータ） (2026-02-14T06:52:42Z)
• How Far Are Surgeons from Surgical World Models? A Pilot Study on Zero-shot Surgical Video Generation with Expert Assessment [69.13598421861654]
  本稿では,手術におけるビデオ生成モデル評価のための専門家による最初のベンチマークであるSurgVeoを紹介する。 腹腔鏡下手術と神経外科手術の手術クリップにゼロショット予測タスクを施した高度なVeo-3モデルを課題とする。 以上の結果から,Veo-3は異常な視覚的視認性を示すが,手術的視認性ピラミッドの高位では致命的に失敗することが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-03T17:28:54Z)
• SurgVLM: A Large Vision-Language Model and Systematic Evaluation Benchmark for Surgical Intelligence [72.10889173696928]
  SurgVLMは,外科的知能に関する最初の大規模視覚言語基盤モデルの一つである。 我々は16種以上の外科的タイプと18の解剖学的構造にまたがる大規模なマルチモーダル手術データベースSurgVLM-DBを構築した。 この包括的データセットに基づいて,Qwen2.5-VLをベースとしたSurgVLMを提案する。
  論文  参考訳（メタデータ） (2025-06-03T07:44:41Z)
• SurgXBench: Explainable Vision-Language Model Benchmark for Surgery [4.068223793121694]
  VLM(Vision-Language Models)は、視覚とテキストのモダリティを横断する推論において、革新的な進歩をもたらした。 既存のモデルはパフォーマンスが限られており、その能力と限界を評価するためのベンチマーク研究の必要性を強調している。 ロボット支援型腹腔鏡による機器分類と動作分類のための2つのデータセットに対して,いくつかの先進VLMのゼロショット性能をベンチマークした。
  論文  参考訳（メタデータ） (2025-05-16T00:42:18Z)
• EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery [52.992415247012296]
  手術シーン理解における対話のパラダイムやサブタスクに対処するために,EndoChatを導入する。 本モデルは,5つの対話パラダイムと8つの手術シーン理解タスクにまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-20T09:12:06Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Quantification of Robotic Surgeries with Vision-Based Deep Learning [45.165919577877695]
  本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。 我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
  論文  参考訳（メタデータ） (2022-05-06T06:08:35Z)
• A real-time spatiotemporal AI model analyzes skill in open surgical videos [2.4907439112059278]
  これまでで最大のオープンな手術用ビデオデータセットであるYouTubeから、50か国からアップロードされた23の手術用プロシージャから1997年の動画を収集することで、AIモデルをトレーニングするための既存のデータ制限を克服しました。 我々は,手術行動,手,道具のリアルタイム理解が可能なマルチタスクAIモデルを開発した。
  論文  参考訳（メタデータ） (2021-12-14T08:11:02Z)
• Towards Unified Surgical Skill Assessment [18.601526803020885]
  自動手術スキル評価のための統合型マルチパスフレームワークを提案する。 手術シミュレーションのJIGSAWSデータセットと腹腔鏡下手術の新たな臨床データセットについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-02T09:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。