論文の概要: SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation
- arxiv url: http://arxiv.org/abs/2308.08746v1
- Date: Thu, 17 Aug 2023 02:51:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 18:15:54.139502
- Title: SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation
- Title(参考訳): 外科用SAM : プロンプタブルな外科用機器セグメンテーション
- Authors: Wenxi Yue, Jing Zhang, Kun Hu, Yong Xia, Jiebo Luo, Zhiyong Wang
- Abstract要約: SurgerySAMはSAMの新しいエンドツーエンドの効率的なチューニング手法である。
外科固有の情報とSAMの事前訓練された知識を統合し、一般化を改善する。
その結果,オペレーショナルSAMは,少数のパラメータしか必要とせず,最先端のパフォーマンスを実現していることがわかった。
- 参考スコア(独自算出の注目度): 65.52097667738884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Segment Anything Model (SAM) is a powerful foundation model that has
revolutionised image segmentation. To apply SAM to surgical instrument
segmentation, a common approach is to locate precise points or boxes of
instruments and then use them as prompts for SAM in a zero-shot manner.
However, we observe two problems with this naive pipeline: (1) the domain gap
between natural objects and surgical instruments leads to poor generalisation
of SAM; and (2) SAM relies on precise point or box locations for accurate
segmentation, requiring either extensive manual guidance or a well-performing
specialist detector for prompt preparation, which leads to a complex
multi-stage pipeline. To address these problems, we introduce SurgicalSAM, a
novel end-to-end efficient-tuning approach for SAM to effectively integrate
surgical-specific information with SAM's pre-trained knowledge for improved
generalisation. Specifically, we propose a lightweight prototype-based class
prompt encoder for tuning, which directly generates prompt embeddings from
class prototypes and eliminates the use of explicit prompts for improved
robustness and a simpler pipeline. In addition, to address the low inter-class
variance among surgical instrument categories, we propose contrastive prototype
learning, further enhancing the discrimination of the class prototypes for more
accurate class prompting. The results of extensive experiments on both
EndoVis2018 and EndoVis2017 datasets demonstrate that SurgicalSAM achieves
state-of-the-art performance while only requiring a small number of tunable
parameters. The source code will be released at
https://github.com/wenxi-yue/SurgicalSAM.
- Abstract(参考訳): Segment Anything Model (SAM)は、画像セグメンテーションに革命をもたらした強力な基礎モデルである。
SAMを手術器具のセグメンテーションに適用するには、楽器の正確な点や箱を見つけ出し、SAMのプロンプトとしてゼロショットで使用するのが一般的である。
しかし,本パイプラインでは,(1)自然物と外科器具の領域ギャップがSAMの一般化を損なうこと,(2)SAMが正確なセグメンテーションを行うために正確な点やボックスの位置に依存していること,(3)手動による手動の指導や,あるいは複雑な多段パイプラインを実現するための優れた特殊検出器が必要であること,の2つの問題を考察した。
これらの課題に対処するため,本研究では,SAMの事前学習知識と外科的特異情報を効果的に統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介する。
具体的には,クラスプロトタイプから直接プロンプト埋め込みを生成し,ロバスト性向上のための明示的なプロンプトとパイプラインを不要にする,チューニングのための軽量なプロトタイプベースのクラスプロンプトエンコーダを提案する。
また,手術器具カテゴリー間のクラス間差異の低さに対処するため,コントラスト学習を提案し,より正確なクラスプロンプトのためのクラスプロトタイプの識別を強化した。
EndoVis2018とEndoVis2017のデータセットに関する広範な実験の結果は、StudioSAMが最先端のパフォーマンスを達成すると同時に、少数の調整可能なパラメータのみを必要とすることを示した。
ソースコードはhttps://github.com/wenxi-yue/SurgicalSAMで公開される。
関連論文リスト
- Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery [9.466779367920049]
安全クリティカルな外科的タスクでは、教師あり学習のためのフレーム単位のプロンプトが欠如しているため、プロンプトは不可能である。
リアルタイムトラッキングアプリケーションのフレーム単位でのプロンプトは非現実的であり,オフラインアプリケーションのアノテートには費用がかかる。
実時間ロボット手術において,SAMを分離するための自動バウンディングボックスプロンプトを生成するために,手術用デSAMを開発した。
論文 参考訳(メタデータ) (2024-04-22T09:53:55Z) - Learning to Prompt Segment Anything Models [55.805816693815835]
Segment Anything Models (SAM)は、何かをセグメント化する学習において大きな可能性を実証している。
SAMは、空間的プロンプト(例えば、点)と意味的プロンプト(例えば、テキスト)を含む2種類のプロンプトで動作する。
より優れたSAMのための効果的な意味と空間的プロンプトを学習する空間意味的プロンプト学習(SSPrompt)を提案する。
論文 参考訳(メタデータ) (2024-01-09T16:24:25Z) - SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation [66.21356751558011]
Segment Anything Model (SAM)は、ジェネリックオブジェクトセグメンテーションの約束を示し、様々なアプリケーションに可能性を提供します。
既存の方法では、SAMベースのフレームワークを手術データにチューニングすることで、手術器具セグメンテーション(SIS)にSAMを適用している。
本稿では,楽器構造知識をSAMの汎用知識と明確に統合する新しいSAM効率的なチューニング手法であるStuial Part-SAMを提案する。
論文 参考訳(メタデータ) (2023-12-22T07:17:51Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳(メタデータ) (2023-11-27T12:51:42Z) - SAM Meets Robotic Surgery: An Empirical Study on Generalization,
Robustness and Adaptation [15.995869434429274]
Segment Anything Model (SAM) はセグメンテーションの基本モデルとして機能する。
ロボット外科領域におけるSAMの頑健性とゼロショットの一般化性について検討した。
論文 参考訳(メタデータ) (2023-08-14T14:09:41Z) - AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene
Segmentation [49.59991322513561]
本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。
AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。
実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-08-07T17:12:54Z) - All-in-SAM: from Weak Annotation to Pixel-wise Nuclei Segmentation with
Prompt-based Finetuning [16.016139980843835]
Segment Anything Model (SAM) は、ゼロショットセグメンテーションアプローチにおいて、最近提案されたプロンプトベースのセグメンテーションモデルである。
推論段階で手動のプロンプトを必要とせずに,AI開発ワークフロー全体を通じてSAMを利用するパイプラインを導入する。
実験の結果,1) 提案したパイプラインは, 公開モヌセグデータセット上での核分割タスクにおいて, 最先端(SOTA)手法を超越し, 2) SAMファインタニングのための弱いアノテーションと少ないアノテーションの利用により, 競争性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-07-01T10:12:46Z) - SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective [21.2080716792596]
Segment Anything Model (SAM) は意味的セグメンテーションの基礎モデルである。
ロボット手術領域におけるSAMのロバスト性とゼロショット一般化性について検討した。
論文 参考訳(メタデータ) (2023-04-28T08:06:33Z) - TraSeTR: Track-to-Segment Transformer with Contrastive Query for
Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。
TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。
提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文 参考訳(メタデータ) (2022-02-17T05:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。