論文の概要: SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation
- arxiv url: http://arxiv.org/abs/2308.08746v2
- Date: Thu, 21 Dec 2023 11:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 18:33:06.552681
- Title: SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation
- Title（参考訳）: 外科用SAM : プロンプタブルな外科用機器セグメンテーション
- Authors: Wenxi Yue, Jing Zhang, Kun Hu, Yong Xia, Jiebo Luo, Zhiyong Wang
- Abstract要約: そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
- 参考スコア（独自算出の注目度）: 65.52097667738884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Segment Anything Model (SAM) is a powerful foundation model that has
revolutionised image segmentation. To apply SAM to surgical instrument
segmentation, a common approach is to locate precise points or boxes of
instruments and then use them as prompts for SAM in a zero-shot manner.
However, we observe two problems with this naive pipeline: (1) the domain gap
between natural objects and surgical instruments leads to inferior
generalisation of SAM; and (2) SAM relies on precise point or box locations for
accurate segmentation, requiring either extensive manual guidance or a
well-performing specialist detector for prompt preparation, which leads to a
complex multi-stage pipeline. To address these problems, we introduce
SurgicalSAM, a novel end-to-end efficient-tuning approach for SAM to
effectively integrate surgical-specific information with SAM's pre-trained
knowledge for improved generalisation. Specifically, we propose a lightweight
prototype-based class prompt encoder for tuning, which directly generates
prompt embeddings from class prototypes and eliminates the use of explicit
prompts for improved robustness and a simpler pipeline. In addition, to address
the low inter-class variance among surgical instrument categories, we propose
contrastive prototype learning, further enhancing the discrimination of the
class prototypes for more accurate class prompting. The results of extensive
experiments on both EndoVis2018 and EndoVis2017 datasets demonstrate that
SurgicalSAM achieves state-of-the-art performance while only requiring a small
number of tunable parameters. The source code is available at
https://github.com/wenxi-yue/SurgicalSAM.
- Abstract（参考訳）: Segment Anything Model (SAM)は、画像セグメンテーションに革命をもたらした強力な基礎モデルである。
SAMを手術器具のセグメンテーションに適用するには、楽器の正確な点や箱を見つけ出し、SAMのプロンプトとしてゼロショットで使用するのが一般的である。
しかし,本パイプラインでは,(1)自然物と外科器具の領域ギャップがSAMの一般化を損なうこと,(2)SAMは精度の高いセグメンテーションを行うために正確な点やボックスの位置に依存していること,(3)手動による手動指導や,あるいは複雑な多段パイプラインを実現するための優れた特殊検出器を必要とすること,の2つの問題を考察した。
これらの課題に対処するため,本研究では,SAMの事前学習知識と外科的特異情報を効果的に統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介する。
具体的には,クラスプロトタイプから直接プロンプト埋め込みを生成し,ロバスト性向上のための明示的なプロンプトとパイプラインを不要にする,チューニングのための軽量なプロトタイプベースのクラスプロンプトエンコーダを提案する。
また,手術器具カテゴリー間のクラス間差異の低さに対処するため,コントラスト学習を提案し,より正確なクラスプロンプトのためのクラスプロトタイプの識別を強化した。
EndoVis2018とEndoVis2017のデータセットに関する広範な実験の結果は、StudioSAMが最先端のパフォーマンスを達成すると同時に、少数の調整可能なパラメータのみを必要とすることを示した。
ソースコードはhttps://github.com/wenxi-yue/SurgicalSAMで入手できる。
関連論文リスト
- ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。
SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。
CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
論文 参考訳（メタデータ） (2024-06-30T14:55:32Z) - Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。
我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。
医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
論文 参考訳（メタデータ） (2024-06-03T03:16:25Z) - AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳（メタデータ） (2024-06-01T16:21:39Z) - Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery [9.466779367920049]
安全クリティカルな外科的タスクでは、教師あり学習のためのフレーム単位のプロンプトが欠如しているため、プロンプトは不可能である。
リアルタイムトラッキングアプリケーションのフレーム単位でのプロンプトは非現実的であり,オフラインアプリケーションのアノテートには費用がかかる。
実時間ロボット手術において,SAMを分離するための自動バウンディングボックスプロンプトを生成するために,手術用デSAMを開発した。
論文 参考訳（メタデータ） (2024-04-22T09:53:55Z) - SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation [66.21356751558011]
Segment Anything Model (SAM)は、ジェネリックオブジェクトセグメンテーションの約束を示し、様々なアプリケーションに可能性を提供します。
既存の方法では、SAMベースのフレームワークを手術データにチューニングすることで、手術器具セグメンテーション(SIS)にSAMを適用している。
本稿では,楽器構造知識をSAMの汎用知識と明確に統合する新しいSAM効率的なチューニング手法であるStuial Part-SAMを提案する。
論文 参考訳（メタデータ） (2023-12-22T07:17:51Z) - Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting [10.308637269138146]
超音波画像分割に適したユニバーサルモデルとしてSAMUSを提案する。
さらに、AutoSAMUSと表記されるエンドツーエンドで動作できるようにします。
AutoSAMUSは、SAMUSのマニュアルプロンプトエンコーダを置き換えるために自動プロンプトジェネレータ(APG)を導入することで実現されている。
論文 参考訳（メタデータ） (2023-09-13T09:15:20Z) - SAM Meets Robotic Surgery: An Empirical Study on Generalization,
Robustness and Adaptation [15.995869434429274]
Segment Anything Model (SAM) はセグメンテーションの基本モデルとして機能する。
ロボット外科領域におけるSAMの頑健性とゼロショットの一般化性について検討した。
論文 参考訳（メタデータ） (2023-08-14T14:09:41Z) - AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene
Segmentation [49.59991322513561]
本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。
AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。
実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-08-07T17:12:54Z) - SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective [21.2080716792596]
Segment Anything Model (SAM) は意味的セグメンテーションの基礎モデルである。
ロボット手術領域におけるSAMのロバスト性とゼロショット一般化性について検討した。
論文 参考訳（メタデータ） (2023-04-28T08:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。