論文の概要: An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2604.00784v1
• Date: Wed, 01 Apr 2026 11:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.962036
• Title: An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models
• Title（参考訳）: 視覚・言語モデルの微視的空間的理解のための手術映像データセットの充実へのアプローチ
• Authors: Lennart Maack, Alexander Schlaefer,
• Abstract要約: SurgSTU-Pipelineは時間的および空間的連続性フィルタリングを特徴とする決定論的生成パイプラインである。 我々はSurgSTUデータセットを作成し、7515本のビデオクリップを150kのきめ細かい時空間質問応答サンプルで密に拡張した。 SurgSTUトレーニングデータセット上の微調整VLMは、すべての時空間タスクの中で最高のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 46.81828062175555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surgical video understanding is a crucial prerequisite for advancing Computer-Assisted Surgery. While vision-language models (VLMs) have recently been applied to the surgical domain, existing surgical vision-language datasets lack in capturing and evaluating complex, interleaved spatial-temporal dynamics. Creating large scale datasets that accurately represent fine-grained spatial-temporal relationships in surgical videos is challenging due to costly manual annotations or error-prone generation using large language models. To address this gap, we introduce the SurgSTU-Pipeline, a deterministic generation pipeline featuring temporal and spatial continuity filtering to reliably create surgical datasets for fine-grained spatial-temporal multimodal understanding. Applying this pipeline to publicly available surgical datasets, we create the SurgSTU dataset, comprising 7515 video clips densely extended with 150k fine-grained spatial-temporal question-answer samples. Our comprehensive evaluation shows that while state-of-the-art generalist VLMs struggle in zero-shot settings, their spatial-temporal capabilities can be improved through in-context learning. A fine-tuned VLM on the SurgSTU training dataset achieves highest performance among all spatial-temporal tasks, validating the dataset's efficacy to improve spatial-temporal understanding of VLMs in surgical videos. Code will be made publicly available.
• Abstract（参考訳）: 外科的ビデオ理解は, コンピュータ支援手術の進展に不可欠である。 視覚言語モデル(VLM)は近年外科領域に応用されているが、既存の手術用視覚言語データセットでは複雑な空間的時間的ダイナミクスを捉え評価することができない。 手術ビデオにおける微細な空間的関係を正確に表現する大規模データセットの作成は,手作業によるアノテーションや,大規模な言語モデルを用いたエラー発生のコストが高いため,困難である。 このギャップに対処するために、時間的・空間的連続性フィルタリングを特徴とする決定論的生成パイプラインであるSurgSTU-Pipelineを導入し、より詳細な空間的・時間的マルチモーダル理解のための外科的データセットを確実に作成する。 このパイプラインを一般に公開されている外科的データセットに適用し、SurgSTUデータセットを作成します。 我々の総合的な評価は、最先端のジェネラリストVLMがゼロショット設定に苦戦している一方で、その空間的時間的能力はコンテキスト内学習によって向上できることを示している。 SurgSTUトレーニングデータセット上の微調整されたVLMは、すべての空間的時間的タスクの中で最高のパフォーマンスを達成し、データセットの有効性を検証し、手術ビデオにおけるVLMの空間的時間的理解を改善する。 コードは公開されます。

関連論文リスト

• Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
  SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。 内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
  論文  参考訳（メタデータ） (2026-03-31T16:31:25Z)
• SIMS-V: Simulated Instruction-Tuning for Spatial Video Understanding [64.86119288520419]
  マルチモーダル言語モデルは時間と空間の空間的推論に苦しむ。 SIMS-Vは3次元シミュレータの特権情報を利用するシステムデータ生成フレームワークである。 提案手法は,実世界の空間的タスクの具体的改善を図りながら,一般的な映像理解の性能を維持しながら,堅牢な一般化を実証する。
  論文  参考訳（メタデータ） (2025-11-06T18:53:31Z)
• Strefer: Empowering Video LLMs with Space-Time Referring and Reasoning via Synthetic Instruction Data [100.5266292850922]
  Streferはビデオ大モデルに参照と推論機能を持たせるために設計された合成データ生成フレームワークである。 Streferは、時間的に密度が高くきめ細かなビデオメタデータを擬似アノテーションするデータエンジンを使用して、多様な命令生成データを生成する。 我々のアプローチは、ビデオLLMが空間的および時間的参照を解釈する能力を高め、現実のAIコンパニオンに不可欠な、より汎用的で時空間対応の推論を育む。
  論文  参考訳（メタデータ） (2025-09-03T17:33:20Z)
• Future Slot Prediction for Unsupervised Object Discovery in Surgical Video [10.984331138780682]
  オブジェクト中心のスロットアテンションは、構造化された解釈可能なオブジェクト中心の表現を教師なしで学習するための新たなパラダイムである。 適応スロット数による現在のアプローチは,画像上では良好に機能するが,手術ビデオ上でのパフォーマンスは低い。 本稿では、時間的推論と最適な将来スロット予測の両方のために訓練された動的時間的スロットトランス (DTST) モジュールを提案する。
  論文  参考訳（メタデータ） (2025-07-02T16:52:16Z)
• Watch and Learn: Leveraging Expert Knowledge and Language for Surgical Video Understanding [1.024113475677323]
  データセットの欠如は、正確で包括的なワークフロー分析ソリューションの開発を妨げる。 本稿では,専門家を観察し,その説明を理解するための人間の学習手順から着想を得た,データの空間性と不均一性に対処する新しいアプローチを提案する。 手術領域に既存のデータセットが存在しないにもかかわらず,この課題に対処するため,外科的ビデオの高密度字幕化(DVC)のための最初の包括的ソリューションを提示する。
  論文  参考訳（メタデータ） (2025-03-14T13:36:13Z)
• SASVi - Segment Any Surgical Video [2.330834737588252]
  本研究では,フレームワイズMask R-CNN Overseerモデルに基づく新しい再プロンプト機構であるSASViを提案する。 このモデルは、シーンの星座が変化すると、基盤モデルSAM2を自動で再起動する。
  論文  参考訳（メタデータ） (2025-02-12T00:29:41Z)
• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Temporally Constrained Neural Networks (TCNN): A framework for semi-supervised video semantic segmentation [5.0754434714665715]
  本稿では,手術ビデオのセマンティックセグメンテーションに使用される半教師付きフレームワークTCNNを紹介する。 本研究では,オートエンコーダネットワークを用いて,空間的および時間的監視信号の両方を効率的に提供できることを示す。 予測マスクの低次元表現を有効活用して,スパースラベル付き両方のデータセットに一貫した改善を実現することを実証した。
  論文  参考訳（メタデータ） (2021-12-27T18:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。