論文の概要: ASI-Seg: Audio-Driven Surgical Instrument Segmentation with Surgeon Intention Understanding
- arxiv url: http://arxiv.org/abs/2407.19435v1
- Date: Sun, 28 Jul 2024 09:25:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 18:12:26.191683
- Title: ASI-Seg: Audio-Driven Surgical Instrument Segmentation with Surgeon Intention Understanding
- Title（参考訳）: ASI-Seg:サージオンインテンション理解によるオーディオ駆動型手術器具セグメンテーション
- Authors: Zhen Chen, Zongming Zhang, Wenwu Guo, Xingjian Luo, Long Bai, Jinlin Wu, Hongliang Ren, Hongbin Liu,
- Abstract要約: そこで我々は,ASI-Segという音声駆動型手術器具分割フレームワークを提案し,必要な手術器具を正確に分割する。
本稿では,音声コマンドからセグメント化意図を解釈し,関連する楽器の詳細を検索するために,意図指向のマルチモーダル融合を提案する。
我々のASI-Segフレームワークは、意味的セグメンテーションと意図的セグメンテーションの両方において、古典的な最先端および医学的なSAMに対して顕著な優位性を示す。
- 参考スコア（独自算出の注目度）: 9.751642361457309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical instrument segmentation is crucial in surgical scene understanding, thereby facilitating surgical safety. Existing algorithms directly detected all instruments of pre-defined categories in the input image, lacking the capability to segment specific instruments according to the surgeon's intention. During different stages of surgery, surgeons exhibit varying preferences and focus toward different surgical instruments. Therefore, an instrument segmentation algorithm that adheres to the surgeon's intention can minimize distractions from irrelevant instruments and assist surgeons to a great extent. The recent Segment Anything Model (SAM) reveals the capability to segment objects following prompts, but the manual annotations for prompts are impractical during the surgery. To address these limitations in operating rooms, we propose an audio-driven surgical instrument segmentation framework, named ASI-Seg, to accurately segment the required surgical instruments by parsing the audio commands of surgeons. Specifically, we propose an intention-oriented multimodal fusion to interpret the segmentation intention from audio commands and retrieve relevant instrument details to facilitate segmentation. Moreover, to guide our ASI-Seg segment of the required surgical instruments, we devise a contrastive learning prompt encoder to effectively distinguish the required instruments from the irrelevant ones. Therefore, our ASI-Seg promotes the workflow in the operating rooms, thereby providing targeted support and reducing the cognitive load on surgeons. Extensive experiments are performed to validate the ASI-Seg framework, which reveals remarkable advantages over classical state-of-the-art and medical SAMs in both semantic segmentation and intention-oriented segmentation. The source code is available at https://github.com/Zonmgin-Zhang/ASI-Seg.
- Abstract（参考訳）: 手術器具のセグメンテーションは外科的シーン理解に不可欠であり、外科的安全性を促進する。
既存のアルゴリズムは、入力画像内の予め定義されたカテゴリのすべての機器を直接検出し、外科医の意図に従って特定の機器を分割する能力に欠けていた。
手術の異なる段階では、外科医は様々な好みを示し、異なる手術器具に焦点を合わせている。
したがって、外科医の意図に固執する機器分割アルゴリズムは、無関係な機器からの逸脱を最小限に抑え、外科医を支援することができる。
最近のSegment Anything Model (SAM)は、プロンプトに従ってオブジェクトをセグメント化する機能を示しているが、手動によるプロンプトのアノテーションは手術中は実用的ではない。
手術室におけるこれらの制限に対処するため,外科医の音声コマンドを解析することにより,必要な手術器具を正確に区分けする,ASI-Segという音声駆動型手術器具セグメンテーションフレームワークを提案する。
具体的には、音声コマンドからセグメンテーションの意図を解釈し、セグメンテーションを容易にするための関連機器の詳細を検索する意図指向のマルチモーダル融合を提案する。
さらに,必要な手術器具のASI-Segセグメントをガイドするために,必要機器と無関係機器とを効果的に区別するコントラスト学習プロンプトエンコーダを考案した。
そこで,ASI-Segは手術室のワークフローを促進し,外科医に対する目標支援と認知負荷の低減を実現した。
ASI-Segフレームワークを検証するために大規模な実験が行われ、意味的セグメンテーションと意図的セグメンテーションの両方において、古典的な最先端および医学的なSAMに対して顕著な優位性を示す。
ソースコードはhttps://github.com/Zonmgin-Zhang/ASI-Segで入手できる。
関連論文リスト
- SURGIVID: Annotation-Efficient Surgical Video Object Discovery [42.16556256395392]
手術シーンのセマンティックセグメンテーションのためのアノテーション効率のよいフレームワークを提案する。
我々は,画像に基づく自己監督型物体発見法を用いて,外科的ビデオにおいて最も有能なツールや解剖学的構造を同定する。
完全教師付きセグメンテーションモデルを用いて,36のアノテーションラベルで強化した無教師付きセットアップでは,同程度のローカライゼーション性能を示す。
論文 参考訳（メタデータ） (2024-09-12T07:12:20Z) - Amodal Segmentation for Laparoscopic Surgery Video Instruments [30.39518393494816]
医療分野における手術器具の領域にAmodalVisを導入する。
このテクニックは、オブジェクトの可視部と隠蔽部の両方を識別する。
これを実現するために,新しいAmoal Instrumentsデータセットを導入する。
論文 参考訳（メタデータ） (2024-08-02T07:40:34Z) - Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery [9.466779367920049]
安全クリティカルな外科的タスクでは、教師あり学習のためのフレーム単位のプロンプトが欠如しているため、プロンプトは不可能である。
リアルタイムトラッキングアプリケーションのフレーム単位でのプロンプトは非現実的であり,オフラインアプリケーションのアノテートには費用がかかる。
実時間ロボット手術において,SAMを分離するための自動バウンディングボックスプロンプトを生成するために,手術用デSAMを開発した。
論文 参考訳（メタデータ） (2024-04-22T09:53:55Z) - SAR-RARP50: Segmentation of surgical instrumentation and Action
Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。
この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。
合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
論文 参考訳（メタデータ） (2023-12-31T13:32:18Z) - SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation [66.21356751558011]
Segment Anything Model (SAM)は、ジェネリックオブジェクトセグメンテーションの約束を示し、様々なアプリケーションに可能性を提供します。
既存の方法では、SAMベースのフレームワークを手術データにチューニングすることで、手術器具セグメンテーション(SIS)にSAMを適用している。
本稿では,楽器構造知識をSAMの汎用知識と明確に統合する新しいSAM効率的なチューニング手法であるStuial Part-SAMを提案する。
論文 参考訳（メタデータ） (2023-12-22T07:17:51Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳（メタデータ） (2023-08-17T02:51:01Z) - Text Promptable Surgical Instrument Segmentation with Vision-Language
Models [16.203166812021045]
そこで本研究では,手術器具の多様性と分化に関わる課題を克服するために,新たなテキストプロンプト可能な手術器具セグメンテーション手法を提案する。
我々は、事前訓練された画像とテキストエンコーダをモデルバックボーンとして利用し、テキストプロンプト可能なマスクデコーダを設計する。
いくつかの手術器具セグメンテーションデータセットの実験は、我々のモデルの優れた性能と有望な一般化能力を示す。
論文 参考訳（メタデータ） (2023-06-15T16:26:20Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳（メタデータ） (2022-04-10T18:51:55Z) - TraSeTR: Track-to-Segment Transformer with Contrastive Query for
Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。
TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。
提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文 参考訳（メタデータ） (2022-02-17T05:52:18Z) - Robust Medical Instrument Segmentation Challenge 2019 [56.148440125599905]
腹腔鏡装置の術中追跡は、しばしばコンピュータとロボットによる介入の必要条件である。
本研究の課題は,30の手術症例から取得した10,040枚の注釈画像からなる外科的データセットに基づいていた。
結果は、初期仮説、すなわち、アルゴリズムの性能がドメインギャップの増大とともに低下することを確認する。
論文 参考訳（メタデータ） (2020-03-23T14:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。