論文の概要: SAM 2 in Robotic Surgery: An Empirical Evaluation for Robustness and Generalization in Surgical Video Segmentation
- arxiv url: http://arxiv.org/abs/2408.04593v1
- Date: Thu, 8 Aug 2024 17:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 14:58:04.774673
- Title: SAM 2 in Robotic Surgery: An Empirical Evaluation for Robustness and Generalization in Surgical Video Segmentation
- Title（参考訳）: ロボット外科におけるSAM 2 : 手術用ビデオセグメンテーションにおけるロバストネスと一般化の実証評価
- Authors: Jieming Yu, An Wang, Wenzhen Dong, Mengya Xu, Mobarakol Islam, Jie Wang, Long Bai, Hongliang Ren,
- Abstract要約: 本研究では,ロボット支援手術におけるSAM2のゼロショットセグメンテーション性能について,プロンプトに基づく検討を行った。
1点とバウンディングボックスの2種類のプロンプトを使用し、ビデオシーケンスでは1点プロンプトを初期フレームに適用する。
ポイントプロンプトによる結果はSAMの能力よりも大幅に向上し、既存の未進展SOTAメソッドに近づいたり超えたりしている。
- 参考スコア（独自算出の注目度）: 13.609341065893739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent Segment Anything Model (SAM) 2 has demonstrated remarkable foundational competence in semantic segmentation, with its memory mechanism and mask decoder further addressing challenges in video tracking and object occlusion, thereby achieving superior results in interactive segmentation for both images and videos. Building upon our previous empirical studies, we further explore the zero-shot segmentation performance of SAM 2 in robot-assisted surgery based on prompts, alongside its robustness against real-world corruption. For static images, we employ two forms of prompts: 1-point and bounding box, while for video sequences, the 1-point prompt is applied to the initial frame. Through extensive experimentation on the MICCAI EndoVis 2017 and EndoVis 2018 benchmarks, SAM 2, when utilizing bounding box prompts, outperforms state-of-the-art (SOTA) methods in comparative evaluations. The results with point prompts also exhibit a substantial enhancement over SAM's capabilities, nearing or even surpassing existing unprompted SOTA methodologies. Besides, SAM 2 demonstrates improved inference speed and less performance degradation against various image corruption. Although slightly unsatisfactory results remain in specific edges or regions, SAM 2's robust adaptability to 1-point prompts underscores its potential for downstream surgical tasks with limited prompt requirements.
- Abstract（参考訳）: 最近のSegment Anything Model (SAM) 2は、セマンティックセグメンテーションにおいて、そのメモリ機構とマスクデコーダにより、ビデオトラッキングとオブジェクトの隠蔽の課題に対処し、画像とビデオの対話的セグメンテーションにおいて、優れた結果が得られることを実証している。
これまでの実証研究に基づいて,ロボット支援手術におけるSAM 2のゼロショットセグメンテーション性能と,実際の腐敗に対する堅牢性について検討した。
静的画像では1点とバウンディングボックスの2種類のプロンプトを使用し、ビデオシーケンスでは1点のプロンプトを初期フレームに適用する。
MICCAI EndoVis 2017とEndoVis 2018ベンチマークの広範な実験を通じて、SAM 2はバウンディングボックスプロンプトを利用する場合、比較評価において最先端(SOTA)メソッドよりも優れている。
ポイントプロンプトによる結果はSAMの能力を大幅に向上させ、既存の未進展のSOTA手法に近づいたり、超えたりしている。
さらにSAM 2は、様々な画像の破損に対して、推論速度の改善と性能劣化の低減を実証している。
特定のエッジや領域にわずかに不満足な結果が残っているが、SAM 2の1ポイントプロンプトへの堅牢な適応性は、下流の外科的タスクにおいて、限られたプロンプト要求を満たす可能性を示している。
関連論文リスト
- SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-16T17:55:38Z) - Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning [13.90996725220123]
本稿では,SurgSAM-2 (SurgSAM-2) を用いた手術用SAM2 (SurgSAM-2) について紹介する。
SurgSAM-2はバニラSAM2と比較して効率とセグメンテーションの精度を著しく向上させる。
注目すべきは、SurgSAM-2はSAM2と比較して3$times$ FPSを達成すると同時に、低解像度データによる微調整後の最先端のパフォーマンスも提供することだ。
論文 参考訳（メタデータ） (2024-08-15T04:59:12Z) - Is SAM 2 Better than SAM in Medical Image Segmentation? [0.6144680854063939]
Segment Anything Model (SAM) は、自然画像上のゼロショットプロンプト可能なセグメンテーションにおいて、印象的な性能を示した。
先日リリースされたSegment Anything Model 2 (SAM2)は、SAMを画像で上回り、モデルの能力をビデオセグメンテーションに拡張したと主張している。
SAM と SAM 2 の性能を比較するために,複数のデータセットを用いて広範囲にわたる研究を行った。
論文 参考訳（メタデータ） (2024-08-08T04:34:29Z) - Evaluating SAM2's Role in Camouflaged Object Detection: From SAM to SAM2 [10.751277821864916]
報告によると、SAM2のオートモードでのプロンプトなしで、画像内の異なるオブジェクトを知覚する能力は低下している。
具体的には, この性能低下を評価するために, カモフラージュされた物体検出の課題を用いる。
論文 参考訳（メタデータ） (2024-07-31T13:32:10Z) - Segment Anything for Videos: A Systematic Survey [52.28931543292431]
最近のファンデーションモデルの波は、コンピュータビジョン(CV)などにおいて大きな成功を収めている。
セグメンテーション・アズ・モデル(SAM)はタスクに依存しない視覚基盤モデルを探究する情熱を喚起した。
本研究は,基礎モデル時代のビデオに対するSAMの体系的レビューを行う。
論文 参考訳（メタデータ） (2024-07-31T02:24:53Z) - FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。
2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。
まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。
次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
論文 参考訳（メタデータ） (2024-05-29T02:34:13Z) - Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively [69.97238935096094]
Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。
約22,000のクラスを分類・認識できる。
論文 参考訳（メタデータ） (2024-01-05T18:59:22Z) - Guided Prompting in SAM for Weakly Supervised Cell Segmentation in
Histopathological Images [27.14641973632063]
本稿では、セグメンタを誘導するために、関連するタスクからのアノテーションである弱い監視を使用することに焦点を当てる。
SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。
すべてのSAMベースのソリューションは、既存の弱教師付きイメージセグメンテーションモデルを大幅に上回り、9～15 ptのDiceゲインを得る。
論文 参考訳（メタデータ） (2023-11-29T11:18:48Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳（メタデータ） (2023-11-27T12:51:42Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳（メタデータ） (2023-08-17T02:51:01Z) - SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective [21.2080716792596]
Segment Anything Model (SAM) は意味的セグメンテーションの基礎モデルである。
ロボット手術領域におけるSAMのロバスト性とゼロショット一般化性について検討した。
論文 参考訳（メタデータ） (2023-04-28T08:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。