論文の概要: SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective
- arxiv url: http://arxiv.org/abs/2304.14674v1
- Date: Fri, 28 Apr 2023 08:06:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 14:55:39.946923
- Title: SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective
- Title(参考訳): sam meets robot surgery:ロバスト性の観点からの実証研究
- Authors: An Wang, Mobarakol Islam, Mengya Xu, Yang Zhang, Hongliang Ren
- Abstract要約: Segment Anything Model (SAM) は意味的セグメンテーションの基礎モデルである。
ロボット手術領域におけるSAMのロバスト性とゼロショット一般化性について検討した。
- 参考スコア(独自算出の注目度): 21.2080716792596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segment Anything Model (SAM) is a foundation model for semantic segmentation
and shows excellent generalization capability with the prompts. In this
empirical study, we investigate the robustness and zero-shot generalizability
of the SAM in the domain of robotic surgery in various settings of (i) prompted
vs. unprompted; (ii) bounding box vs. points-based prompt; (iii) generalization
under corruptions and perturbations with five severity levels; and (iv)
state-of-the-art supervised model vs. SAM. We conduct all the observations with
two well-known robotic instrument segmentation datasets of MICCAI EndoVis 2017
and 2018 challenges. Our extensive evaluation results reveal that although SAM
shows remarkable zero-shot generalization ability with bounding box prompts, it
struggles to segment the whole instrument with point-based prompts and
unprompted settings. Furthermore, our qualitative figures demonstrate that the
model either failed to predict the parts of the instrument mask (e.g., jaws,
wrist) or predicted parts of the instrument as different classes in the
scenario of overlapping instruments within the same bounding box or with the
point-based prompt. In fact, it is unable to identify instruments in some
complex surgical scenarios of blood, reflection, blur, and shade. Additionally,
SAM is insufficiently robust to maintain high performance when subjected to
various forms of data corruption. Therefore, we can argue that SAM is not ready
for downstream surgical tasks without further domain-specific fine-tuning.
- Abstract(参考訳): Segment Anything Model (SAM)はセマンティックセグメンテーションの基礎モデルであり、プロンプトによる優れた一般化能力を示す。
本研究では,ロボット外科領域におけるSAMのロバスト性とゼロショット一般化性について検討する。
(i)プロンプト対アンプロンプト
(ii) 点ベースのプロンプトに対するバウンディングボックス
(iii)重大度5の腐敗及び摂動の一般化
(4)最先端の教師付きモデル対SAM。
我々は、MICCAI EndoVis 2017と2018の2つのよく知られたロボット機器セグメンテーションデータセットを用いて、すべての観察を行う。
広範な評価結果から,SAMはバウンディングボックスのプロンプトで顕著なゼロショット一般化能力を示すが,ポイントベースのプロンプトとアンプロンプトの設定で楽器全体をセグメント化することは困難であることがわかった。
さらに,このモデルでは,楽器マスク(顎,手首など)の一部の予測に失敗したり,同じバウンディングボックス内やポイントベースのプロンプトで楽器を重ね合わせるシナリオにおいて,異なるクラスとして楽器の部品を予測することができなかった。
実際、血液、反射、ぼやけ、日陰といった複雑な手術シナリオでは、機器を特定できない。
さらにSAMは、さまざまな形式のデータ破壊を受けると、高いパフォーマンスを維持するには不十分である。
したがって、SAMは、さらにドメイン固有の微調整をすることなく、下流での外科手術の準備が整っていないと論じることができる。
関連論文リスト
- From Generalization to Precision: Exploring SAM for Tool Segmentation in
Surgical Environments [7.01085327371458]
セグメンテーションモデルでは, 汚損レベルの高い画像が大幅に過大評価され, 性能が低下する。
我々は,最高の単一マスクを予測として選択した場合のSAMの結果を分析するために,接地型ツールマスクを用いている。
本研究では,様々な強みの合成汚損データを用いて,Endovis18とEndovis17の計器セグメンテーションデータセットを解析した。
論文 参考訳(メタデータ) (2024-02-28T01:33:49Z) - Part to Whole: Collaborative Prompting for Surgical Instrument
Segmentation [69.06539951868861]
Segment Anything Model (SAM) のような基盤モデルは、ジェネリックオブジェクトセグメンテーションの可能性を実証している。
SAMは、外科医とコンピュータの相互作用を複雑にするフレーム単位のポイント・オー・ボックスプロンプトに依存している。
本研究では,手術器具の構造知識とSAMの一般的なセグメンテーション知識を統合する,新しい効率的なチューニング手法であるSP-SAMを提案する。
論文 参考訳(メタデータ) (2023-12-22T07:17:51Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳(メタデータ) (2023-12-06T17:19:00Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳(メタデータ) (2023-08-17T02:51:01Z) - SAM Meets Robotic Surgery: An Empirical Study on Generalization,
Robustness and Adaptation [15.995869434429274]
Segment Anything Model (SAM) はセグメンテーションの基本モデルとして機能する。
ロボット外科領域におけるSAMの頑健性とゼロショットの一般化性について検討した。
論文 参考訳(メタデータ) (2023-08-14T14:09:41Z) - On the Robustness of Segment Anything [46.669794757467166]
我々は, SAMの試験時間ロバスト性について, 敵のシナリオと共通の腐敗下で検討することを目的としている。
SAMは、ぼやけた汚職を除いて、様々な汚職に対して顕著な堅牢性を示す。
論文 参考訳(メタデータ) (2023-05-25T16:28:30Z) - Attack-SAM: Towards Attacking Segment Anything Model With Adversarial
Examples [68.5719552703438]
Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。
深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。
この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
論文 参考訳(メタデータ) (2023-05-01T15:08:17Z) - Segment Anything Model for Medical Image Analysis: an Experimental Study [19.95972201734614]
Segment Anything Model (SAM) は、ユーザ定義オブジェクトをインタラクティブな方法でセグメント化する基礎モデルである。
SAMの医用画像の分類能力について,各種のモダリティと解剖から,19の医用画像データセットの集合体を用いて評価した。
論文 参考訳(メタデータ) (2023-04-20T17:50:18Z) - SAM Struggles in Concealed Scenes -- Empirical Study on "Segment
Anything" [132.31628334155118]
Segment Anything Model (SAM) はコンピュータビジョンの基礎モデルである。
本報告では,隠れた3つのシーン,すなわちカモフラージュされた動物,工業的欠陥,医療的障害を選択し,SAMを未開の環境下で評価する。
私たちの主な観察は、SAMが隠されたシーンでスキルを欠いているように見えることです。
論文 参考訳(メタデータ) (2023-04-12T17:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。