論文の概要: Watch and Learn: Leveraging Expert Knowledge and Language for Surgical Video Understanding

• arxiv url: http://arxiv.org/abs/2503.11392v1
• Date: Fri, 14 Mar 2025 13:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:06.013156
• Title: Watch and Learn: Leveraging Expert Knowledge and Language for Surgical Video Understanding
• Title（参考訳）: Watch and Learn: 外科的ビデオ理解のための専門知識と言語を活用する
• Authors: David Gastager, Ghazal Ghazaei, Constantin Patsch,
• Abstract要約: データセットの欠如は、正確で包括的なワークフロー分析ソリューションの開発を妨げる。 本稿では,専門家を観察し,その説明を理解するための人間の学習手順から着想を得た,データの空間性と不均一性に対処する新しいアプローチを提案する。 手術領域に既存のデータセットが存在しないにもかかわらず,この課題に対処するため,外科的ビデオの高密度字幕化(DVC)のための最初の包括的ソリューションを提示する。
• 参考スコア（独自算出の注目度）: 1.024113475677323
• License:
• Abstract: Automated surgical workflow analysis is crucial for education, research, and clinical decision-making, but the lack of annotated datasets hinders the development of accurate and comprehensive workflow analysis solutions. We introduce a novel approach for addressing the sparsity and heterogeneity of annotated training data inspired by the human learning procedure of watching experts and understanding their explanations. Our method leverages a video-language model trained on alignment, denoising, and generative tasks to learn short-term spatio-temporal and multimodal representations. A task-specific temporal model is then used to capture relationships across entire videos. To achieve comprehensive video-language understanding in the surgical domain, we introduce a data collection and filtering strategy to construct a large-scale pretraining dataset from educational YouTube videos. We then utilize parameter-efficient fine-tuning by projecting downstream task annotations from publicly available surgical datasets into the language domain. Extensive experiments in two surgical domains demonstrate the effectiveness of our approach, with performance improvements of up to 7% in phase segmentation tasks, 8% in zero-shot phase segmentation, and comparable capabilities to fully-supervised models in few-shot settings. Harnessing our model's capabilities for long-range temporal localization and text generation, we present the first comprehensive solution for dense video captioning (DVC) of surgical videos, addressing this task despite the absence of existing DVC datasets in the surgical domain. We introduce a novel approach to surgical workflow understanding that leverages video-language pretraining, large-scale video pretraining, and optimized fine-tuning. Our method improves performance over state-of-the-art techniques and enables new downstream tasks for surgical video understanding.
• Abstract（参考訳）: 外科的ワークフロー分析の自動化は、教育、研究、臨床意思決定に不可欠であるが、注釈付きデータセットの欠如は、正確で包括的なワークフロー分析ソリューションの開発を妨げる。 本稿では,専門家を観察し,その説明を理解するための人間の学習手順にインスパイアされた注釈付きトレーニングデータの多様性と不均一性に対処する新しいアプローチを提案する。 提案手法は, 短時間の時空間およびマルチモーダル表現を学習するために, アライメント, 認知, 生成タスクを訓練したビデオ言語モデルを利用する。 タスク固有の時間モデルを使用して、ビデオ全体の関係をキャプチャする。 外科領域における包括的ビデオ言語理解を実現するために,教育用YouTubeビデオから大規模事前学習データセットを構築するためのデータ収集とフィルタリング戦略を導入する。 次に、公開されている手術用データセットから下流タスクアノテーションを言語領域に投影することで、パラメータ効率の良い微調整を利用する。 2つの外科領域における広範囲な実験により, 位相分割タスクの最大7%, ゼロショットフェーズセグメンテーションの8%, フル教師付きモデルに匹敵する性能が得られた。 手術領域に既存のDVCデータセットが存在しないにもかかわらず,この課題に対処するため,手術映像の高密度動画キャプション(DVC)の包括的解法を提示する。 本稿では,ビデオ言語事前学習,大規模ビデオ事前学習,微調整の最適化を活用した外科的ワークフロー理解への新たなアプローチを提案する。 本手法は,最先端技術よりも性能を向上し,手術映像理解のための新たな下流作業を可能にする。

関連論文リスト

• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• Efficient Surgical Tool Recognition via HMM-Stabilized Deep Learning [25.146476653453227]
  ツール存在検出のためのHMM安定化深層学習手法を提案する。 様々な実験により、提案手法がより低いトレーニングとランニングコストでより良い性能を達成することが確認された。 これらの結果から,過度に複雑化したモデル構造を持つ一般的なディープラーニング手法は,非効率なデータ利用に悩まされる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-04-07T15:27:35Z)
• Dynamic Scene Graph Representation for Surgical Video [37.22552586793163]
  我々は、シーングラフを、より包括的で意味があり、人間の読みやすい方法で、手術ビデオを表現するために活用する。 CaDISとCATARACTSのセマンティックセグメンテーションからシーングラフデータセットを作成する。 モデル決定の妥当性と堅牢性について,手術シーングラフの利点を実証する。
  論文  参考訳（メタデータ） (2023-09-25T21:28:14Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [51.78027546947034]
  外科的コンピュータビジョンの最近の進歩は、言語意味論に欠ける視覚のみのモデルによって推進されている。 本稿では,eラーニングプラットフォームからの手術ビデオ講義を活用し,効果的な視覚情報と言語監督信号を提供する。 テキスト書き起こしのための複数自動音声認識システムを用いて,手術固有の言語課題に対処する。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• AutoLaparo: A New Dataset of Integrated Multi-tasks for Image-guided Surgical Automation in Laparoscopic Hysterectomy [42.20922574566824]
  ヒステリクトミー手術における学習ベースの自動化を容易にするために,複数の画像に基づく知覚タスクを組み込んだ最初の統合データセットを提示,リリースする。 我々のAutoLaparoデータセットは、全子宮摘出術のフル長ビデオに基づいて開発されている。 具体的には、外科的ワークフロー認識、腹腔鏡運動予測、機器とキー解剖のセグメンテーションを含む、3つの異なる高相関なタスクがデータセットで定式化されている。
  論文  参考訳（メタデータ） (2022-08-03T13:17:23Z)
• CUPID: Adaptive Curation of Pre-training Data for Video-and-Language Representation Learning [49.18591896085498]
  ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。 CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2021-04-01T06:42:16Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• LRTD: Long-Range Temporal Dependency based Active Learning for Surgical Workflow Recognition [67.86810761677403]
  本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。 具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。 手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2020-04-21T09:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。