論文の概要: FastSAM3D: An Efficient Segment Anything Model for 3D Volumetric Medical Images
- arxiv url: http://arxiv.org/abs/2403.09827v1
- Date: Thu, 14 Mar 2024 19:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 21:15:39.830166
- Title: FastSAM3D: An Efficient Segment Anything Model for 3D Volumetric Medical Images
- Title（参考訳）: FastSAM3D:3Dボリューム・メディカル・イメージのための効率的なセグメンテーションモデル
- Authors: Yiqing Shen, Jingxing Li, Xinyuan Shao, Blanca Inigo Romillo, Ankush Jindal, David Dreizin, Mathias Unberath,
- Abstract要約: NVIDIA A100 GPU上の128*128*128の3Dボリューム画像に対して,SAM推論を8ミリ秒に高速化するFastSAM3Dを提案する。
FastSAM3Dは2D SAMと8.75倍の527.38倍で、同じボリュームの3D SAMは性能が著しく低下しない。
- 参考スコア（独自算出の注目度）: 7.2993352400518035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Segment anything models (SAMs) are gaining attention for their zero-shot generalization capability in segmenting objects of unseen classes and in unseen domains when properly prompted. Interactivity is a key strength of SAMs, allowing users to iteratively provide prompts that specify objects of interest to refine outputs. However, to realize the interactive use of SAMs for 3D medical imaging tasks, rapid inference times are necessary. High memory requirements and long processing delays remain constraints that hinder the adoption of SAMs for this purpose. Specifically, while 2D SAMs applied to 3D volumes contend with repetitive computation to process all slices independently, 3D SAMs suffer from an exponential increase in model parameters and FLOPS. To address these challenges, we present FastSAM3D which accelerates SAM inference to 8 milliseconds per 128*128*128 3D volumetric image on an NVIDIA A100 GPU. This speedup is accomplished through 1) a novel layer-wise progressive distillation scheme that enables knowledge transfer from a complex 12-layer ViT-B to a lightweight 6-layer ViT-Tiny variant encoder without training from scratch; and 2) a novel 3D sparse flash attention to replace vanilla attention operators, substantially reducing memory needs and improving parallelization. Experiments on three diverse datasets reveal that FastSAM3D achieves a remarkable speedup of 527.38x compared to 2D SAMs and 8.75x compared to 3D SAMs on the same volumes without significant performance decline. Thus, FastSAM3D opens the door for low-cost truly interactive SAM-based 3D medical imaging segmentation with commonly used GPU hardware. Code is available at https://github.com/arcadelab/FastSAM3D.
- Abstract（参考訳）: Segment Any Model(SAM)は、目に見えないクラスのセグメンテーションオブジェクトや、適切に誘導された未確認領域において、ゼロショットの一般化能力のために注目を集めている。
対話性はSAMの重要な強みであり、ユーザは出力を洗練するために興味のあるオブジェクトを指定するプロンプトを反復的に提供できる。
しかし,3次元医用画像処理タスクにおけるSAMの対話的利用を実現するためには,高速な推論時間が必要である。
高いメモリ要件と長い処理遅延は、この目的のためにSAMの採用を妨げる制約のままである。
具体的には、3Dボリュームに適用された2DSAMは、全てのスライスを独立に処理するための反復計算と競合するが、3DSAMはモデルパラメータとFLOPSの指数的な増加に悩まされる。
これらの課題に対処するために、NVIDIA A100 GPU上でSAM推論を8ミリ秒/18*128*128のボリューム画像に高速化するFastSAM3Dを提案する。
このスピードアップは達成される
1) 複雑な12層型ViT-Bから6層型6層型ViT-Tinyエンコーダへの知識伝達をスクラッチからトレーニングすることなく行うことができる新しい層ワイド・プログレッシブ蒸留方式
2)バニラアテンション演算子に代わる新しい3次元スパースフラッシュアテンションにより、メモリ需要を大幅に削減し、並列化を向上する。
3つの多様なデータセットの実験により、FastSAM3Dは2DSAMに比べて527.38倍、同じボリュームの3DSAMでは8.75倍のスピードアップを達成した。
したがって、FastSAM3Dは、一般的に使われているGPUハードウェアを使った、低コストでインタラクティブなSAMベースの3D医療画像セグメンテーションのための扉を開く。
コードはhttps://github.com/arcadelab/FastSAM3Dで入手できる。
関連論文リスト
- HRSAM: Efficiently Segment Anything in High-Resolution Images [59.537068118473066]
本稿では,Flash Attentionを統合し,Plain,Shifted,新たに提案されたCycle-Scan Windowを取り入れたHRSAMを提案する。
サイクルスキャンウィンドウアテンションは、計算オーバーヘッドを最小限に抑えるため、最近開発されたステートスペースモデル(SSM)を採用している。
高精度セグメンテーションデータセットHQSeg44KとDAVISの実験は、SAM蒸留HRSAMモデルが教師モデルより優れていることを示す。
論文 参考訳（メタデータ） (2024-07-02T09:51:56Z) - SAM-PM: Enhancing Video Camouflaged Object Detection using Spatio-Temporal Attention [0.0]
Segment Anything Model (SAM) は画像セグメンテーションにおける異常な性能で注目されている。
カモフラージュされた物体は一般的に背景に溶け込み、静止画では区別が難しい。
これらの課題を克服するために,SAMスパイダーモジュール (SAM-PM) と呼ばれる新しい手法を提案する。
本手法は,SAMのパラメータの1%未満の追加で,時間的一貫性とドメイン固有の専門知識をセグメンテーションネットワークに効果的に組み込む。
論文 参考訳（メタデータ） (2024-06-09T14:33:38Z) - Towards a Comprehensive, Efficient and Promptable Anatomic Structure Segmentation Model using 3D Whole-body CT Scans [23.573958232965104]
Segment Any Model (SAM) は、自然画像のセグメンテーションにおける強力な能力の一般化を示す。
3D放射線CTまたはMRIスキャンを分割するには、2D SAMモデルは数百の2Dスライスを別々に処理する必要がある。
我々はCT-SAM3Dという全身CTセグメント化のための包括的でスケーラブルな3次元SAMモデルを提案する。
論文 参考訳（メタデータ） (2024-03-22T09:40:52Z) - SAM-Lightening: A Lightweight Segment Anything Model with Dilated Flash Attention to Achieve 30 times Acceleration [6.515075311704396]
Segment Anything Model (SAM)は、ゼロショットの一般化能力のためにセグメンテーションタスクに大きな注目を集めている。
我々はSAMの亜種であるSAM-Lighteningを紹介し、Dilated Flash Attentionと呼ばれる再設計されたアテンション機構を特徴としている。
COCOとLVISの実験により、SAM-Lighteningは実行時の効率とセグメンテーション精度の両方において最先端の手法よりも大幅に優れていることが明らかになった。
論文 参考訳（メタデータ） (2024-03-14T09:07:34Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳（メタデータ） (2023-12-21T12:26:11Z) - EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM [71.868623296582]
EdgeSAMはSegment Anything Model (SAM)の高速化版である。
我々のアプローチは、VTベースのSAMイメージエンコーダを純粋にCNNベースのアーキテクチャに蒸留することである。
これは、iPhone 14で30FPS以上で動作可能なSAMの最初の派生機種である。
論文 参考訳（メタデータ） (2023-12-11T18:59:52Z) - RepViT-SAM: Towards Real-Time Segmenting Anything [71.94042743317937]
Segment Anything Model (SAM) は、様々なコンピュータビジョンタスクに対して印象的なゼロショット転送性能を示した。
MobileSAMは蒸留を用いてSAMの重い画像エンコーダをTinyViTに置き換えることを提案する。
RepViT-SAMはMobileSAMよりもはるかに優れたゼロショット転送機能を持ち、推論速度は10倍近い。
論文 参考訳（メタデータ） (2023-12-10T04:42:56Z) - SAM-Med3D [36.6362248184995]
SAM-Med3D(SAM-Med3D)について紹介する。
我々はSAM-Med3Dを131K以上の3Dマスクと247のカテゴリで訓練する。
SAMと比較すると,3次元医用画像の高効率化と広いセグメンテーション能力を示す。
論文 参考訳（メタデータ） (2023-10-23T17:57:36Z) - TomoSAM: a 3D Slicer extension using SAM for tomography segmentation [62.997667081978825]
TomoSAMは、最先端のSegment Anything Model(SAM)を3Dスライダに統合するために開発された。
SAMは、オブジェクトを識別し、ゼロショットで画像マスクを作成することができる、迅速なディープラーニングモデルである。
これらのツール間のシナジーは、トモグラフィや他のイメージング技術からの複雑な3Dデータセットのセグメンテーションに役立つ。
論文 参考訳（メタデータ） (2023-06-14T16:13:27Z) - SAM3D: Zero-Shot 3D Object Detection via Segment Anything Model [59.04877271899894]
本稿では,SAMのゼロショット能力を3次元物体検出に適用することを検討する。
大規模オープンデータセット上でオブジェクトを検出し,有望な結果を得るために,SAMを用いたBEV処理パイプラインを提案する。
論文 参考訳（メタデータ） (2023-06-04T03:09:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。