論文の概要: Zero-Shot Surgical Tool Segmentation in Monocular Video Using Segment Anything Model 2
- arxiv url: http://arxiv.org/abs/2408.01648v1
- Date: Sat, 3 Aug 2024 03:19:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 19:10:37.603481
- Title: Zero-Shot Surgical Tool Segmentation in Monocular Video Using Segment Anything Model 2
- Title（参考訳）: Segment Anything Model 2 を用いた単眼ビデオにおけるゼロショット手術ツールセグメンテーション
- Authors: Ange Lou, Yamin Li, Yike Zhang, Robert F. Labadie, Jack Noble,
- Abstract要約: Segment Anything Model 2 (SAM2)は、画像とビデオのセグメンテーションのための最新の基礎モデルである。
内視鏡検査や顕微鏡検査など,異なるタイプの手術におけるSAM2モデルのゼロショット映像分割性能について検討した。
1) SAM2は, 各種手術ビデオのセグメンテーション能力を示す。2) 新たなツールが現場に入ると, セグメンテーションの精度を維持するために追加のプロンプトが必要であり, 3) 手術ビデオに固有の課題はSAM2のロバスト性に影響を与える。
- 参考スコア（独自算出の注目度）: 4.418542191434178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Segment Anything Model 2 (SAM 2) is the latest generation foundation model for image and video segmentation. Trained on the expansive Segment Anything Video (SA-V) dataset, which comprises 35.5 million masks across 50.9K videos, SAM 2 advances its predecessor's capabilities by supporting zero-shot segmentation through various prompts (e.g., points, boxes, and masks). Its robust zero-shot performance and efficient memory usage make SAM 2 particularly appealing for surgical tool segmentation in videos, especially given the scarcity of labeled data and the diversity of surgical procedures. In this study, we evaluate the zero-shot video segmentation performance of the SAM 2 model across different types of surgeries, including endoscopy and microscopy. We also assess its performance on videos featuring single and multiple tools of varying lengths to demonstrate SAM 2's applicability and effectiveness in the surgical domain. We found that: 1) SAM 2 demonstrates a strong capability for segmenting various surgical videos; 2) When new tools enter the scene, additional prompts are necessary to maintain segmentation accuracy; and 3) Specific challenges inherent to surgical videos can impact the robustness of SAM 2.
- Abstract（参考訳）: Segment Anything Model 2 (SAM)
2)は画像とビデオのセグメンテーションのための最新の基礎モデルである。
50.9Kビデオにわたる3550万のマスクからなるSA-VデータセットでトレーニングされたSAM 2は、さまざまなプロンプト(例えば、ポイント、ボックス、マスク)を通じてゼロショットセグメンテーションをサポートすることで、前任者の能力を向上させる。
その堅牢なゼロショット性能と効率的なメモリ使用により、SAM 2は特に、ラベル付きデータの不足と手術手順の多様性を考えると、ビデオにおける外科ツールのセグメンテーションに魅力を感じている。
本研究では,内視鏡検査や顕微鏡検査など,異なるタイプの手術におけるSAM2モデルのゼロショット映像分割性能について検討した。
また,手術領域におけるSAM2の適用性と有効性を示すために,長さの異なる単一ツール,複数ツールを特徴とするビデオ上での性能評価を行った。
私たちはこう発見しました。
1)SAM2は,各種手術ビデオのセグメンテーション能力を示す。
2 新しい道具が現場に入るときは、セグメンテーションの精度を維持するために追加のプロンプトが必要である。
3) 手術ビデオ固有の課題はSAM2の堅牢性に影響を及ぼす可能性がある。
関連論文リスト
- DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。
文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文 参考訳（メタデータ） (2024-10-05T14:36:43Z) - SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-16T17:55:38Z) - Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning [13.90996725220123]
本稿では,SurgSAM-2 (SurgSAM-2) を用いた手術用SAM2 (SurgSAM-2) について紹介する。
SurgSAM-2はバニラSAM2と比較して効率とセグメンテーションの精度を著しく向上させる。
注目すべきは、SurgSAM-2はSAM2と比較して3$times$ FPSを達成すると同時に、低解像度データによる微調整後の最先端のパフォーマンスも提供することだ。
論文 参考訳（メタデータ） (2024-08-15T04:59:12Z) - Novel adaptation of video segmentation to 3D MRI: efficient zero-shot knee segmentation with SAM2 [1.6237741047782823]
Segment Anything Model 2 を応用した3次元膝関節MRIのゼロショット単発セグメンテーション法を提案する。
3次元医用ボリュームのスライスを個々のビデオフレームとして扱うことで、SAM2の高度な能力を利用して、モーションおよび空間認識の予測を生成する。
SAM2は、訓練や微調整を伴わずに、ゼロショット方式でセグメント化タスクを効率的に実行できることを実証する。
論文 参考訳（メタデータ） (2024-08-08T21:39:15Z) - SAM 2 in Robotic Surgery: An Empirical Evaluation for Robustness and Generalization in Surgical Video Segmentation [13.609341065893739]
本研究では,ロボット支援手術におけるSAM2のゼロショットセグメンテーション性能について,プロンプトに基づく検討を行った。
1点とバウンディングボックスの2種類のプロンプトを使用し、ビデオシーケンスでは1点プロンプトを初期フレームに適用する。
ポイントプロンプトによる結果はSAMの能力よりも大幅に向上し、既存の未進展SOTAメソッドに近づいたり超えたりしている。
論文 参考訳（メタデータ） (2024-08-08T17:08:57Z) - Segment Anything in Medical Images and Videos: Benchmark and Deployment [8.51742337818826]
まず,11種類の医用画像モダリティとビデオを対象としたSegment Anything Model 2 (SAM2) の総合的なベンチマークを行う。
そこで我々は,転写学習パイプラインを開発し,SAM2を微調整により医療領域に迅速に適用できることを実証した。
SAM2を3Dスライサプラグインとして,Gradio APIとして実装し,効率的な3D画像とビデオセグメンテーションを実現する。
論文 参考訳（メタデータ） (2024-08-06T17:58:18Z) - Segment anything model 2: an application to 2D and 3D medical images [16.253160684182895]
Segment Anything Model (SAM) は、プロンプトが与えられた画像に様々なオブジェクトをセグメント化できるため、注目されている。
最近開発されたSAM 2は、この機能をビデオ入力に拡張した。
これにより、SAMを3D画像に適用する機会が開ける。
論文 参考訳（メタデータ） (2024-08-01T17:57:25Z) - SAM 2: Segment Anything in Images and Videos [63.44869623822368]
本稿では,画像やビデオにおける迅速な視覚的セグメンテーションの解決に向けた基礎モデルであるセグメンション・エキシング・モデル2(SAM2)を提案する。
ユーザインタラクションを通じてモデルとデータを改善するデータエンジンを構築し、これまでで最大のビデオセグメンテーションデータセットを収集します。
我々のモデルは、リアルタイムビデオ処理のためのストリーミングメモリを備えたシンプルなトランスフォーマーアーキテクチャである。
論文 参考訳（メタデータ） (2024-08-01T17:00:08Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳（メタデータ） (2023-09-16T02:41:53Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳（メタデータ） (2023-08-17T02:51:01Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。