論文の概要: SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery
- arxiv url: http://arxiv.org/abs/2606.25905v1
- Date: Wed, 24 Jun 2026 14:53:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.361136
- Title: SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery
- Title（参考訳）: SurgAtlas:オープンと最小侵襲の手術時間2,391時間の大規模手術ビデオランゲージデータセット
- Abstract要約: これまでで最大の手術用ビデオ言語データセットであるSurgAtlasを紹介した。
SurgAtlasはまた、大規模な手術を含む初めての手術用ビデオ言語データセットであり、6,182本のオープンプロシージャビデオと9000以上の最小限の侵襲的な記録がある。
また,外科的理由付けのための臨床基礎的ベンチマークとして,多種多彩なオープンおよび最小侵襲の術式にまたがる視覚的質問応答対を検証した専門家検証サブセットも提供する。
- 参考スコア（独自算出の注目度）: 33.663697869976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SurgAtlas, the largest surgical video-language dataset to date, comprising 15,291 videos (2,391 hours) spanning 18 surgical specialties and over 5,000 procedure types, sourced entirely from publicly available YouTube content. SurgAtlas is also the first surgical video-language dataset to include open surgery at scale, with 6,182 open procedure videos alongside over 9,000 minimally invasive recordings, and the first to establish standardized benchmarks for open-surgery video understanding. We additionally provide an expert-validated subset with verified visual question-answer pairs across diverse open and minimally invasive procedures, serving as a clinically grounded benchmark for surgical reasoning. Compared with existing surgical video-language datasets, SurgAtlas provides one of the most diverse annotation schemas, combining segment-level captions, step- and phase-level descriptions, video-level surgical descriptions, and reasoning-oriented question-answer pairs organized within a hierarchical taxonomy. These annotations are constructed through an automated multi-tier pipeline with LLM-based enrichment and a staged VQA generation framework with explicit groundedness verification. The scale and diversity of SurgAtlas enable training surgical foundation models with broad procedural coverage: we finetune Qwen3-VL-8B through a two-stage captioning-then-instruction pipeline and achieve competitive or state-of-the-art results on multiple established surgical benchmarks, including phase recognition, triplet detection, and reasoning question answering. More broadly, SurgAtlas provides a large native public video corpus that can support future large-scale pretraining of multimodal surgical AI systems and contribute to the development of next-generation foundation models for surgery.
- Abstract（参考訳）: 現在までに最大規模の手術用ビデオ言語データセットであるSurgAtlasを紹介した。
SurgAtlasはまた、大規模な手術を含む最初の外科的ビデオ言語データセットであり、6,182本のオープンプロシージャビデオと9000以上の最小限の侵襲的な記録、そしてオープンサージェリービデオ理解のための標準化されたベンチマークを最初に確立した。
また,外科的理由付けのための臨床基礎的ベンチマークとして,多種多彩なオープンおよび最小侵襲の術式にまたがる視覚的質問応答対を検証した専門家検証サブセットも提供する。
既存の外科的ビデオ言語データセットと比較すると、SurgAtlasは最も多様なアノテーションスキーマの1つを提供しており、セグメントレベルのキャプション、ステップレベルとフェーズレベルの説明、ビデオレベルの外科的記述、階層的な分類の中で整理された推論指向の質問応答ペアを組み合わせたものである。
これらのアノテーションは、LLMベースのエンリッチメントを備えた自動多層パイプラインと、明確な基底性検証を備えたステージドVQA生成フレームワークによって構築される。
We finetune Qwen3-VL-8B through a two-stage casting-then-instruction pipeline and achieve competitive or the-of-the-art results on multiple established surgical benchmarks, including phase recognition, triplet detection, and reasoning question answering。
より広い範囲で、SurgAtlasは、マルチモーダルな手術用AIシステムの大規模な事前トレーニングをサポートし、手術のための次世代基盤モデルの開発に貢献する、大規模なネイティブなパブリックビデオコーパスを提供する。
関連論文リスト
- A vision-language model and platform for temporally mapping surgery from video [2.456019890058713]
マッピング手術は、手術ガイドラインの作成と自律型ロボット手術の実現に不可欠である。
人工知能(AI)の最近の進歩は、ビデオから外科医の振舞いをマッピングすることを約束している。
本稿では、ハルステッド手術アトラスで訓練された視覚言語モデルであるハルステッドを紹介する。
論文 参考訳（メタデータ） (2026-03-23T21:23:40Z) - UniSurg: A Video-Native Foundation Model for Universal Understanding of Surgical Videos [81.9180187964947]
我々は,学習パラダイムを画素レベルの再構成から潜在動作予測に移行する基礎モデルUniSurgを提案する。
大規模な事前トレーニングを可能にするため,13の解剖学的領域にわたる50源からの3,658時間の動画を含む,これまでで最大規模の手術用ビデオデータセットをキュレートした。
これらの結果は、UniSurgを、ユニバーサルでモーション指向の外科的ビデオ理解の新しい標準として確立している。
論文 参考訳（メタデータ） (2026-02-05T13:18:33Z) - SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding [75.00667948967848]
SurgLLMフレームワークは、多用途の手術ビデオ理解タスクに適した、大規模なマルチモーダルモデルである。
外科的ビデオの空間的焦点を高めるために,SurgLLMの動画エンコーダのためのSurg-Pretraining(Surg-Pretraining)を最初に考案した。
外科的時間的知識をSurgLLMに組み込むため, インターリーブ型マルチモーダル埋め込みによる時間的推論を改善するために, 時間的対応型マルチモーダルチューニング(TM-Tuning)を提案する。
論文 参考訳（メタデータ） (2025-08-30T04:36:41Z) - HieraSurg: Hierarchy-Aware Diffusion Model for Surgical Video Generation [44.37374628674769]
2つの専門拡散モデルからなる階層型手術ビデオ生成フレームワークであるHieraSurgを提案する。
このモデルは、既存のセグメンテーションマップが提供される際に特にきめ細かい付着を示しており、実際的な外科的応用の可能性を示している。
論文 参考訳（メタデータ） (2025-06-26T14:07:23Z) - SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model [67.8359850515282]
SurgVidLMは、完全かつきめ細かい外科的ビデオ理解に対処するために設計された最初のビデオ言語モデルである。
我々は,SurgVidLMが,映像理解タスクと細粒度ビデオ理解タスクの両方において,同等のパラメータスケールの最先端のVid-LLMを著しく上回ることを示す。
論文 参考訳（メタデータ） (2025-06-22T02:16:18Z) - SurgBench: A Unified Large-Scale Benchmark for Surgical Video Analysis [20.566701996432226]
SurgBenchは、事前トレーニングデータセットである textbfSurgBench-P と、評価ベンチマークである textbfSurgBench-E で構成される統一的な手術ビデオベンチマークフレームワークである。
SurgBench-Pは、22の外科手術と11の専門分野にわたる5300万フレームをカバーし、SurgBench-Eは72のきめ細かいタスクにまたがる6つのカテゴリ(フェーズ分類、カメラモーション、ツール認識、疾患診断、行動分類、臓器検出)で堅牢な評価を提供する。
論文 参考訳（メタデータ） (2025-06-09T10:02:58Z) - SurgVLM: A Large Vision-Language Model and Systematic Evaluation Benchmark for Surgical Intelligence [72.10889173696928]
SurgVLMは,外科的知能に関する最初の大規模視覚言語基盤モデルの一つである。
我々は16種以上の外科的タイプと18の解剖学的構造にまたがる大規模なマルチモーダル手術データベースSurgVLM-DBを構築した。
この包括的データセットに基づいて,Qwen2.5-VLをベースとしたSurgVLMを提案する。
論文 参考訳（メタデータ） (2025-06-03T07:44:41Z) - OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。
OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。
我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
論文 参考訳（メタデータ） (2024-11-23T02:53:08Z) - LLaVA-Surg: Towards Multimodal Surgical Assistant via Structured Surgical Video Learning [15.646322352232819]
新しいデータセットであるSurg-QAを作成し、手術用ビデオインストラクションペアを102,000個作成する。
手術知識を学習するために, LLMを用いた2段階質問応答生成パイプラインを提案する。
LLaVA-Surgは、手術ビデオに関するオープンな質問に答えられる新しい視覚言語対話アシスタントだ。
論文 参考訳（メタデータ） (2024-08-15T07:00:20Z) - Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。
これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。
本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
論文 参考訳（メタデータ） (2023-07-27T22:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。