論文の概要: From Forks to Forceps: A New Framework for Instance Segmentation of
Surgical Instruments
- arxiv url: http://arxiv.org/abs/2211.16200v1
- Date: Sat, 26 Nov 2022 21:26:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 14:50:57.923848
- Title: From Forks to Forceps: A New Framework for Instance Segmentation of
Surgical Instruments
- Title(参考訳): フォークからスクラップへ:手術器具のインスタンスセグメンテーションのための新しいフレームワーク
- Authors: Britty Baby, Daksh Thapar, Mustafa Chasmai, Tamajit Banerjee, Kunal
Dargan, Ashish Suri, Subhashis Banerjee, Chetan Arora
- Abstract要約: 最小侵襲手術と関連する応用は、インスタンスレベルでの外科的ツール分類とセグメンテーションを要求する。
本研究は,バウンディングボックスとセグメンテーションマスクが正確な場合が多いが,分類ヘッドが手術器具の分類ラベルを誤分類していることを示す。
我々は、既存のインスタンスセグメンテーションモデルに分類モジュールを新しいステージとして追加する新しいニューラルネットワークフレームワークを提案する。
- 参考スコア(独自算出の注目度): 6.677634562400846
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Minimally invasive surgeries and related applications demand surgical tool
classification and segmentation at the instance level. Surgical tools are
similar in appearance and are long, thin, and handled at an angle. The
fine-tuning of state-of-the-art (SOTA) instance segmentation models trained on
natural images for instrument segmentation has difficulty discriminating
instrument classes. Our research demonstrates that while the bounding box and
segmentation mask are often accurate, the classification head mis-classifies
the class label of the surgical instrument. We present a new neural network
framework that adds a classification module as a new stage to existing instance
segmentation models. This module specializes in improving the classification of
instrument masks generated by the existing model. The module comprises
multi-scale mask attention, which attends to the instrument region and masks
the distracting background features. We propose training our classifier module
using metric learning with arc loss to handle low inter-class variance of
surgical instruments. We conduct exhaustive experiments on the benchmark
datasets EndoVis2017 and EndoVis2018. We demonstrate that our method
outperforms all (more than 18) SOTA methods compared with, and improves the
SOTA performance by at least 12 points (20%) on the EndoVis2017 benchmark
challenge and generalizes effectively across the datasets.
- Abstract(参考訳): 最小侵襲手術と関連する応用は、インスタンスレベルでの外科的ツール分類とセグメンテーションを要求する。
手術器具は外観が似ており、長く、薄く、角度で処理される。
楽器セグメンテーションのための自然な画像に基づいて訓練されたSOTAインスタンスセグメンテーションモデルの微調整は、楽器のクラスを識別することが困難である。
本研究は,境界ボックスとセグメンテーションマスクはしばしば正確であるが,分類ヘッドは手術器具のクラスラベルを誤分類することを示している。
我々は、既存のインスタンスセグメンテーションモデルに分類モジュールを新しいステージとして追加する新しいニューラルネットワークフレームワークを提案する。
本モジュールは、既存のモデルによって生成された計装マスクの分類を改善することに特化したモジュールである。
モジュールは、楽器領域に随伴し、気を散らす背景特徴をマスクするマルチスケールマスクアテンションを含む。
手術器具の低クラス間分散を扱うために,アークロスを用いた計量学習を用いた分類器モジュールの訓練を提案する。
ベンチマークデータセットのEndoVis2017とEndoVis2018で徹底的な実験を行う。
提案手法は,EndoVis2017ベンチマークチャレンジにおいて,全(18以上)SOTA手法より優れ,少なくとも12ポイント(20%)のSOTA性能向上を実現し,データセット全体にわたって効果的に一般化することを示した。
関連論文リスト
- Queryable Prototype Multiple Instance Learning with Vision-Language Models for Incremental Whole Slide Image Classification [10.667645628712542]
本稿では, 逐次WSI分類に特化して設計された, Queryable Prototype Multiple Instance Learning (QPMIL-VL) を用いた視覚言語ベースのフレームワークを提案する。
TCGAデータセットの4つの実験により、我々のQPMIL-VLフレームワークが漸進的なWSI分類に有効であることが示された。
論文 参考訳(メタデータ) (2024-10-14T14:49:34Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of
Surgical Tools [10.295921059528636]
トレーニングに空間アノテーションを頼らずに,実例分割のためのフレームワークを開発する。
我々のソリューションはバイナリツールマスクのみを必要とし、最新の教師なしアプローチとバイナリツール存在ラベルを使って取得できる。
当社のフレームワークは、2017年と2018年のセグメンテーションデータセット上で検証しています。
論文 参考訳(メタデータ) (2023-09-04T17:13:06Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳(メタデータ) (2023-08-17T02:51:01Z) - SegMatch: A semi-supervised learning method for surgical instrument
segmentation [10.223709180135419]
腹腔鏡およびロボット手術画像に対する高価なアノテーションの必要性を低減するための半教師付き学習法であるSegMatchを提案する。
SegMatchは、一貫性の正規化と擬似ラベリングを組み合わせた、広範な半教師付き分類パイプラインであるFixMatch上に構築されている。
この結果から,学習目的に非競合データを追加することで,完全教師付きアプローチの性能を超越できることが示唆された。
論文 参考訳(メタデータ) (2023-08-09T21:30:18Z) - Domain Adaptive Nuclei Instance Segmentation and Classification via
Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。
我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2022-07-04T07:05:06Z) - TraSeTR: Track-to-Segment Transformer with Contrastive Query for
Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。
TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。
提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文 参考訳(メタデータ) (2022-02-17T05:52:18Z) - FUN-SIS: a Fully UNsupervised approach for Surgical Instrument
Segmentation [16.881624842773604]
FUN-SISについて述べる。
我々は、暗黙の動作情報と楽器形状に依存して、完全に装飾されていない内視鏡ビデオに基づいてフレーム単位のセグメンテーションモデルを訓練する。
手術器具のセグメンテーションの完全教師なしの結果は, 完全に監督された最先端のアプローチとほぼ同等である。
論文 参考訳(メタデータ) (2022-02-16T15:32:02Z) - Novel Class Discovery in Semantic Segmentation [104.30729847367104]
セマンティックにおける新しいクラス発見(NCDSS)について紹介する。
ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。
NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。
本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
論文 参考訳(メタデータ) (2021-12-03T13:31:59Z) - ISINet: An Instance-Based Approach for Surgical Instrument Segmentation [0.0]
ロボット支援手術シーンにおける手術器具の意味的セグメンテーションの課題について検討する。
我々は、インスタンスベースのセグメンテーションの観点から、このタスクに対処するISINetを提案する。
以上の結果から, ISINetは最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2020-07-10T16:20:56Z) - UniT: Unified Knowledge Transfer for Any-shot Object Detection and
Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。
本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文 参考訳(メタデータ) (2020-06-12T22:45:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。