論文の概要: Bootstrapping Vision-Language Model for Hysteroscopic Surgical Scene Segmentation

• arxiv url: http://arxiv.org/abs/2608.09302v1
• Date: Mon, 10 Aug 2026 08:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.169663
• Title: Bootstrapping Vision-Language Model for Hysteroscopic Surgical Scene Segmentation
• Title（参考訳）: 胸腔鏡下手術シーンセグメンテーションのためのブートストラップ・ビジョン・ランゲージモデル
• Abstract要約: 本稿では,第1の視覚言語モデル (VLM) を用いた手術シーン分割法を提案する。 我々のVLM-hysterは、トレーニング済みの画像エンコーダを用いて、堅牢な視覚特徴抽出を行うセグメンテーションバックボーンを備えている。 以上の結果から,VLM-hysterは手術器具や手術病変の局所化をAIで支援する上で有意な可能性を示唆した。
• 参考スコア（独自算出の注目度）: 32.39357180934061
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hysteroscopic surgical scene segmentation plays a pivotal role in understanding the hysteroscopic intraoperative environment as well as computer-assisted intervention. However, this task presents unique challenges due to the high morphological similarity among different lesions and the presence of artifacts such as specular reflections, motion blur, and fluid occlusions in surgical videos. In this work, we propose the first vision-language model (VLM)-based hysteroscopic surgical scene segmentation method, which performs pixel-wise localization for fifteen representative categories in hysteroscopic surgical scenes. Our VLM-hyster has a segmentation backbone that utilizes the pretrained image encoder for robust visual feature extraction, coupled with a transformer-based decoder for dense prediction. Moreover, we design category-specific text prompts and incorporate a masked distillation branch to filter out visual features with low correlation to the text prompts, enabling the model to focus more effectively on category-specific image regions and thereby enhancing segmentation performance. We collect a large multicentric hysteroscopic surgical scene dataset, containing 4,020 high-resolution images with detailed mask annotations, for model training and evaluation. Experimental results demonstrate that VLM-hyster substantially outperforms state-of-the-art AI models. Furthermore, extensive assessments by gynecologists, as well as multicentre and prospective validations, demonstrate VLM-hyster's robustness and generalizability. The results suggest that VLM-hyster earns considerable potential in enabling AI-assisted localization of surgical instruments and lesions in hysteroscopic surgeries. Code is available at https://github.com/viscom-tongji/VLM-hyster.
• Abstract（参考訳）: 胸腔鏡下手術シーンのセグメンテーションは, 手術環境の理解と, コンピュータによる介入において重要な役割を担っている。 しかし, この課題は, 異なる病変間の形態的類似度が高いこと, 鏡像反射, 運動のぼやけ, 流体閉塞などの人工物の存在など, 特異な課題を呈している。 本研究では,第1の視覚言語モデル (VLM) を用いたヒステロスコープ手術シーン分割法を提案する。 我々のVLM-hysterは、トレーニング済みの画像エンコーダを用いて、頑健な視覚特徴抽出を行うセグメンテーションバックボーンと、高密度予測のためのトランスフォーマーベースのデコーダを備えている。 さらに、カテゴリ固有のテキストプロンプトを設計し、マスク付き蒸留ブランチを組み込んで、テキストプロンプトとの相関が低い視覚的特徴をフィルタリングし、カテゴリ固有の画像領域により効果的にフォーカスし、セグメンテーション性能を向上させる。 詳細なマスクアノテーション付き高解像度画像4,020枚を含む多心型手術シーンデータセットを収集し,モデルトレーニングと評価を行った。 実験の結果、VLM-hysterは最先端のAIモデルを大幅に上回っていることが示された。 さらに、婦人科医による広範囲な評価や、多中心的および予見的な検証は、VLM-hysterの堅牢性と一般化可能性を示している。 以上の結果から,VLM-hysterは手術器具や手術病変の局所化をAIで支援できる可能性が示唆された。 コードはhttps://github.com/viscom-tongji/VLM-hyster.comで入手できる。

関連論文リスト

• EndoVLM: An Endoscopy Vision-Language Pre-training Model via Anatomy-Guided Sparsity and Progressive Alignment [15.371433625713232]
  EndoVLMは348K以上の内視鏡検査で事前訓練された新しい視覚言語FMである。 Anatomy-Guided Sparse Poolingメカニズムは、テキスト記述をクエリとして利用してスパース注意を喚起する。 プログレッシブ・セマンティック・アウェア・アライメント・ストラテジー(Progressive Semantic-Aware Alignment Strategy)は、構造化されたソフトターゲットを介して臨床分類(解剖学と病理学)をモデル化する。 Semantic-Concentrated Masked Autoencoderは、これらのセマンティックリッチなフレームにのみ適用され、低レベルの視覚的精度と堅牢な高レベルのセマンティック表現を統合する。
  論文  参考訳（メタデータ） (2026-08-05T05:56:41Z)
• Zero-shot segmentation of skin tumors in whole-slide images with vision-language foundation models [1.2488173903877113]
  我々は、全スライディング画像(ZEUS)のためのゼロショット視覚言語セグメンテーションパイプラインを導入する。 ZEUSは、ギガピクセル全スライド画像に高解像度の腫瘍マスクを生成する。 2つの社内データセットで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-24T10:50:30Z)
• SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model [67.8359850515282]
  SurgVidLMは、完全かつきめ細かい外科的ビデオ理解に対処するために設計された最初のビデオ言語モデルである。 我々は,SurgVidLMが,映像理解タスクと細粒度ビデオ理解タスクの両方において,同等のパラメータスケールの最先端のVid-LLMを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-06-22T02:16:18Z)
• Benchmarking Laparoscopic Surgical Image Restoration and Beyond [54.28852320829451]
  腹腔鏡下手術では、明瞭で高品質な視野が外科医の正確な判断に不可欠である。 持続的な視覚劣化、例えば、エネルギー装置によって発生する煙、熱勾配から光るレンズ、およびレンズ汚染は患者の安全に危険をもたらす。 本稿では,SurgCleanと呼ばれる腹腔鏡下環境を対象とするオープンソースの手術画像復元データセットについて紹介する。
  論文  参考訳（メタデータ） (2025-05-25T14:17:56Z)
• SurgXBench: Explainable Vision-Language Model Benchmark for Surgery [4.068223793121694]
  VLM(Vision-Language Models)は、視覚とテキストのモダリティを横断する推論において、革新的な進歩をもたらした。 既存のモデルはパフォーマンスが限られており、その能力と限界を評価するためのベンチマーク研究の必要性を強調している。 ロボット支援型腹腔鏡による機器分類と動作分類のための2つのデータセットに対して,いくつかの先進VLMのゼロショット性能をベンチマークした。
  論文  参考訳（メタデータ） (2025-05-16T00:42:18Z)
• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Thoracic Surgery Video Analysis for Surgical Phase Recognition [0.08706730566331035]
  我々は,11種類の位相からなる胸部手術データセットを用いて,フレームベースおよびビデオクリッピングに基づく位相認識の解析と評価を行った。 ImageNet ViTによる52.31%に比べて,Masked Video Distillation(MVD)は72.9%の精度で優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-13T14:47:57Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• AiAReSeg: Catheter Detection and Segmentation in Interventional Ultrasound using Transformers [75.20925220246689]
  血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。 本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:34:12Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• AutoLaparo: A New Dataset of Integrated Multi-tasks for Image-guided Surgical Automation in Laparoscopic Hysterectomy [42.20922574566824]
  ヒステリクトミー手術における学習ベースの自動化を容易にするために,複数の画像に基づく知覚タスクを組み込んだ最初の統合データセットを提示,リリースする。 我々のAutoLaparoデータセットは、全子宮摘出術のフル長ビデオに基づいて開発されている。 具体的には、外科的ワークフロー認識、腹腔鏡運動予測、機器とキー解剖のセグメンテーションを含む、3つの異なる高相関なタスクがデータセットで定式化されている。
  論文  参考訳（メタデータ） (2022-08-03T13:17:23Z)
• A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence [13.25903945009516]
  本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。 これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。 また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2022-03-31T13:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。