論文の概要: SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model

• arxiv url: http://arxiv.org/abs/2506.17873v2
• Date: Wed, 24 Sep 2025 03:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 16:23:42.265899
• Title: SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model
• Title（参考訳）: SurgVidLM:大規模言語モデルによる多粒度手術映像理解を目指して
• Authors: Guankun Wang, Junyi Wang, Wenjin Mo, Long Bai, Kun Yuan, Ming Hu, Jinlin Wu, Junjun He, Yiming Huang, Nicolas Padoy, Zhen Lei, Hongbin Liu, Nassir Navab, Hongliang Ren,
• Abstract要約: SurgVidLMは、完全かつきめ細かい外科的ビデオ理解に対処するために設計された最初のビデオ言語モデルである。 我々は,SurgVidLMが,映像理解タスクと細粒度ビデオ理解タスクの両方において,同等のパラメータスケールの最先端のVid-LLMを著しく上回ることを示す。
• 参考スコア（独自算出の注目度）: 67.8359850515282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surgical scene understanding is critical for surgical training and robotic decision-making in robot-assisted surgery. Recent advances in Multimodal Large Language Models (MLLMs) have demonstrated great potential for advancing scene perception in the medical domain, facilitating surgeons to understand surgical scenes and procedures. However, these methods are primarily oriented towards image-based analysis or global video understanding, overlooking the fine-grained video reasoning that is crucial for analyzing specific processes and capturing detailed task execution within a surgical procedure. To bridge this gap, we propose SurgVidLM, the first video language model designed to address both full and fine-grained surgical video comprehension. To train our SurgVidLM, we construct the SVU-31K that is a large-scale dataset with over 31K video-instruction pairs, enabling both holistic understanding and detailed analysis of surgical procedures. Building on this resource, SurgVidLM incorporates a two-stage StageFocus mechanism: the first stage extracts global procedural context, while the second stage performs high-frequency local analysis guided by temporal cues. We also develop the Multi-frequency Fusion Attention to effectively integrate low- and high-frequency visual tokens, ensuring the preservation of critical task-specific details. Experimental results demonstrate that SurgVidLM significantly outperforms state-of-the-art Vid-LLMs of comparable parameter scale in both full and fine-grained video understanding tasks, showcasing its superior capability in capturing the context of complex robot-assisted surgeries. Our code and dataset will be publicly accessible soon.
• Abstract（参考訳）: 外科的シーン理解は、ロボット支援手術における外科的訓練とロボットによる意思決定に不可欠である。 近年のMLLM(Multimodal Large Language Models)の進歩は,外科領域におけるシーン認識の進展に大きな可能性を示し,手術現場や手術手順の理解を促進する。 しかし,これらの手法は主に画像解析や大域的映像理解を指向しており,特定のプロセスの解析や手術手順における詳細なタスク実行の把握に欠かせない,きめ細かいビデオ推論を見越している。 このギャップを埋めるために、我々は、完全かつきめ細かい外科的ビデオ理解に対処するために設計された最初のビデオ言語モデルであるSurgVidLMを提案する。 SurgVidLMをトレーニングするために,31K以上のビデオ命令ペアを備えた大規模データセットであるSVU-31Kを構築し,外科手術の全体的理解と詳細な解析を可能にする。 SurgVidLMには2段階のStageFocus機構が組み込まれており、第1段階はグローバルな手続き的コンテキストを抽出し、第2段階は時間的手がかりによって導かれる高周波局所分析を行う。 また、低周波および高周波の視覚トークンを効果的に統合し、重要なタスク固有の詳細を確実に保存する多周波核融合注意法を開発した。 実験結果から,SurgVidLMは,複雑なロボット支援手術のコンテキストを捉える上での優れた能力を示すとともに,映像理解タスクと精細な映像理解タスクにおいて,同等のパラメータスケールの最先端のVid-LLMを著しく上回ることを示した。 コードとデータセットはまもなく公開されます。

関連論文リスト

• Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
  低侵襲手術(MIS)におけるリアルタイム映像理解の重要性 手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。 C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-16T14:02:24Z)
• Watch and Learn: Leveraging Expert Knowledge and Language for Surgical Video Understanding [1.024113475677323]
  データセットの欠如は、正確で包括的なワークフロー分析ソリューションの開発を妨げる。 本稿では,専門家を観察し,その説明を理解するための人間の学習手順から着想を得た,データの空間性と不均一性に対処する新しいアプローチを提案する。 手術領域に既存のデータセットが存在しないにもかかわらず,この課題に対処するため,外科的ビデオの高密度字幕化(DVC)のための最初の包括的ソリューションを提示する。
  論文  参考訳（メタデータ） (2025-03-14T13:36:13Z)
• EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery [52.992415247012296]
  手術シーン理解における対話のパラダイムやサブタスクに対処するために,EndoChatを導入する。 本モデルは,5つの対話パラダイムと8つの手術シーン理解タスクにまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-20T09:12:06Z)
• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Surgical-LLaVA: Toward Surgical Scenario Understanding via Large Language and Vision Models [1.4042211166197214]
  手術シナリオに特化して設計されたLVLMについて紹介する。 LVLMモデルであるオペレーショナル・ラヴァを手術シナリオのデータに基づいて微調整した。 外科的ララバは、外科的文脈において、印象的なマルチモーダルチャット能力を示すことを示す実験である。
  論文  参考訳（メタデータ） (2024-10-13T07:12:35Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• LLaVA-Surg: Towards Multimodal Surgical Assistant via Structured Surgical Video Learning [15.646322352232819]
  新しいデータセットであるSurg-QAを作成し、手術用ビデオインストラクションペアを102,000個作成する。 手術知識を学習するために, LLMを用いた2段階質問応答生成パイプラインを提案する。 LLaVA-Surgは、手術ビデオに関するオープンな質問に答えられる新しい視覚言語対話アシスタントだ。
  論文  参考訳（メタデータ） (2024-08-15T07:00:20Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。