論文の概要: Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery

• arxiv url: http://arxiv.org/abs/2404.14040v1
• Date: Mon, 22 Apr 2024 09:53:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 14:26:08.609754
• Title: Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery
• Title（参考訳）: 外科用デSAM: ロボット手術における計測器のセグメンテーションのためのデカップリングSAM
• Authors: Yuyang Sheng, Sophia Bano, Matthew J. Clarkson, Mobarakol Islam,
• Abstract要約: 安全クリティカルな外科的タスクでは、教師あり学習のためのフレーム単位のプロンプトが欠如しているため、プロンプトは不可能である。 リアルタイムトラッキングアプリケーションのフレーム単位でのプロンプトは非現実的であり,オフラインアプリケーションのアノテートには費用がかかる。 実時間ロボット手術において,SAMを分離するための自動バウンディングボックスプロンプトを生成するために,手術用デSAMを開発した。
• 参考スコア（独自算出の注目度）: 9.466779367920049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Purpose: The recent Segment Anything Model (SAM) has demonstrated impressive performance with point, text or bounding box prompts, in various applications. However, in safety-critical surgical tasks, prompting is not possible due to (i) the lack of per-frame prompts for supervised learning, (ii) it is unrealistic to prompt frame-by-frame in a real-time tracking application, and (iii) it is expensive to annotate prompts for offline applications. Methods: We develop Surgical-DeSAM to generate automatic bounding box prompts for decoupling SAM to obtain instrument segmentation in real-time robotic surgery. We utilise a commonly used detection architecture, DETR, and fine-tuned it to obtain bounding box prompt for the instruments. We then empolyed decoupling SAM (DeSAM) by replacing the image encoder with DETR encoder and fine-tune prompt encoder and mask decoder to obtain instance segmentation for the surgical instruments. To improve detection performance, we adopted the Swin-transformer to better feature representation. Results: The proposed method has been validated on two publicly available datasets from the MICCAI surgical instruments segmentation challenge EndoVis 2017 and 2018. The performance of our method is also compared with SOTA instrument segmentation methods and demonstrated significant improvements with dice metrics of 89.62 and 90.70 for the EndoVis 2017 and 2018. Conclusion: Our extensive experiments and validations demonstrate that Surgical-DeSAM enables real-time instrument segmentation without any additional prompting and outperforms other SOTA segmentation methods.
• Abstract（参考訳）: 目的: 最近のSegment Anything Model (SAM)は、様々なアプリケーションにおいて、ポイント、テキスト、バウンディングボックスプロンプトで印象的なパフォーマンスを示しています。 しかし、安全クリティカルな外科的作業では、プロンプトは不可能である。 i) 教師あり学習のためのフレーム単位のプロンプトの欠如。 (II)リアルタイムトラッキングアプリケーションにおいてフレーム単位でのプロンプトは非現実的であり、 三 オフラインアプリケーションの通知をアノテートするのは高価である。 方法: 実時間ロボット手術における計測器のセグメンテーションを得るために, SAMを分離するための自動バウンディングボックスプロンプトを生成する手術用デSAMを開発した。 一般的な検出アーキテクチャであるDETRを利用し、それを微調整して楽器のバウンディングボックスプロンプトを得る。 次に,画像エンコーダをDETRエンコーダとファインチューンプロンプトエンコーダとマスクデコーダに置き換えて,SAM(DeSAM)をデカップリングし,手術器具のサンプルセグメンテーションを得た。 検出性能を向上させるために,Swin-transformerを用いて特徴表現を改良した。 結果:本手法は,MICCAI手術器具セグメンテーションチャレンジであるEndoVis 2017と2018の2つの公開データセットで検証された。 また,SOTA計測器のセグメンテーション法と比較し,2017年と2018年のエンドビジョンでは89.62,90.70のダイス測定値で大幅に改善した。 結論:より広範な実験と検証により,他のSOTAセグメンテーション法より優れたプロンプトを伴わず,リアルタイムの計器セグメンテーションが可能であることを実証した。

関連論文リスト

• SAM 2 in Robotic Surgery: An Empirical Evaluation for Robustness and Generalization in Surgical Video Segmentation [13.609341065893739]
  本研究では,ロボット支援手術におけるSAM2のゼロショットセグメンテーション性能について,プロンプトに基づく検討を行った。 1点とバウンディングボックスの2種類のプロンプトを使用し、ビデオシーケンスでは1点プロンプトを初期フレームに適用する。 ポイントプロンプトによる結果はSAMの能力よりも大幅に向上し、既存の未進展SOTAメソッドに近づいたり超えたりしている。
  論文  参考訳（メタデータ） (2024-08-08T17:08:57Z)
• ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
  SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。 SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。 CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
  論文  参考訳（メタデータ） (2024-06-30T14:55:32Z)
• Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
  医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。 我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。 医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
  論文  参考訳（メタデータ） (2024-06-03T03:16:25Z)
• Augmenting Efficient Real-time Surgical Instrument Segmentation in Video with Point Tracking and Segment Anything [9.338136334709818]
  手術器具のセグメンテーションを微調整した軽量SAMモデルとオンラインポイントトラッカーを組み合わせた新しいフレームワークを提案する。 関心領域内のスパースポイントが追跡され、SAMをビデオシーケンス全体を通してプロンプトし、時間的一貫性を提供する。 提案手法は,XMemとトランスフォーマーをベースとした完全教師付きセグメンテーション手法に匹敵する有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T18:12:42Z)
• SAR-RARP50: Segmentation of surgical instrumentation and Action Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
  外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。 この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。 合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
  論文  参考訳（メタデータ） (2023-12-31T13:32:18Z)
• SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation [66.21356751558011]
  Segment Anything Model (SAM)は、ジェネリックオブジェクトセグメンテーションの約束を示し、様々なアプリケーションに可能性を提供します。 既存の方法では、SAMベースのフレームワークを手術データにチューニングすることで、手術器具セグメンテーション(SIS)にSAMを適用している。 本稿では,楽器構造知識をSAMの汎用知識と明確に統合する新しいSAM効率的なチューニング手法であるStuial Part-SAMを提案する。
  論文  参考訳（メタデータ） (2023-12-22T07:17:51Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
  そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。 提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
  論文  参考訳（メタデータ） (2022-02-17T05:52:18Z)
• FUN-SIS: a Fully UNsupervised approach for Surgical Instrument Segmentation [16.881624842773604]
  FUN-SISについて述べる。 我々は、暗黙の動作情報と楽器形状に依存して、完全に装飾されていない内視鏡ビデオに基づいてフレーム単位のセグメンテーションモデルを訓練する。 手術器具のセグメンテーションの完全教師なしの結果は, 完全に監督された最先端のアプローチとほぼ同等である。
  論文  参考訳（メタデータ） (2022-02-16T15:32:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。