論文の概要: Medical SAM 2: Segment medical images as video via Segment Anything Model 2
- arxiv url: http://arxiv.org/abs/2408.00874v2
- Date: Wed, 04 Dec 2024 23:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 14:37:18.601179
- Title: Medical SAM 2: Segment medical images as video via Segment Anything Model 2
- Title(参考訳): Medical SAM 2: Segment Anything Model 2による医用画像の映像化
- Authors: Jiayuan Zhu, Abdullah Hamdi, Yunli Qi, Yueming Jin, Junde Wu,
- Abstract要約: 医用SAM2(MedSAM-2)は,汎用的な2次元および3次元の医用画像セグメンテーションのための自動追跡モデルである。
われわれはMedSAM-2を5つの2Dタスクおよび9つの3Dタスク、例えば、白血球、視神経、網膜血管、下顎骨、冠動脈、腎臓腫瘍、肝腫瘍、乳癌、鼻咽喉頭癌、前庭シュワン、縦隔リンパ結節、大脳動脈、歯槽下神経、腹部臓器などについて評価した。
- 参考スコア(独自算出の注目度): 17.469217682817586
- License:
- Abstract: Medical image segmentation plays a pivotal role in clinical diagnostics and treatment planning, yet existing models often face challenges in generalization and in handling both 2D and 3D data uniformly. In this paper, we introduce Medical SAM 2 (MedSAM-2), a generalized auto-tracking model for universal 2D and 3D medical image segmentation. The core concept is to leverage the Segment Anything Model 2 (SAM2) pipeline to treat all 2D and 3D medical segmentation tasks as a video object tracking problem. To put it into practice, we propose a novel \emph{self-sorting memory bank} mechanism that dynamically selects informative embeddings based on confidence and dissimilarity, regardless of temporal order. This mechanism not only significantly improves performance in 3D medical image segmentation but also unlocks a \emph{One-Prompt Segmentation} capability for 2D images, allowing segmentation across multiple images from a single prompt without temporal relationships. We evaluated MedSAM-2 on five 2D tasks and nine 3D tasks, including white blood cells, optic cups, retinal vessels, mandibles, coronary arteries, kidney tumors, liver tumors, breast cancer, nasopharynx cancer, vestibular schwannoma, mediastinal lymph nodules, cerebral artery, inferior alveolar nerve, and abdominal organs, comparing it against state-of-the-art (SOTA) models in task-tailored, general and interactive segmentation settings. Our findings demonstrate that MedSAM-2 surpasses a wide range of existing models and updates new SOTA on several benchmarks. The code is released on the project page: https://supermedintel.github.io/Medical-SAM2/.
- Abstract(参考訳): 医用画像のセグメンテーションは臨床診断や治療計画において重要な役割を担っているが、既存のモデルでは一般化や2次元データと3次元データの両方を均一に扱う際の課題に直面していることが多い。
本稿では,汎用的な2次元および3次元の医用画像セグメンテーションのための自動追跡モデルであるMedSAM-2を紹介する。
コアコンセプトは、Segment Anything Model 2 (SAM2)パイプラインを使用して、すべての2Dおよび3D医療セグメンテーションタスクをビデオオブジェクト追跡問題として扱うことである。
そこで本研究では,時間的順序によらず,信頼度と相似性に基づいて情報埋め込みを動的に選択する,新しい「emph{self-sorting memory bank」機構を提案する。
このメカニズムは、3D画像セグメンテーションのパフォーマンスを著しく改善するだけでなく、2D画像の \emph{One-Prompt Segmentation} 機能をアンロックし、時間的関係のない単一のプロンプトからの複数の画像のセグメンテーションを可能にする。
われわれはMedSAM-2を5つの2Dタスクおよび9つの3Dタスクで評価した。例えば、白細胞、眼球、網膜血管、下顎、冠状動脈、腎臓腫瘍、肝腫瘍、乳癌、鼻咽喉頭癌、前庭神経癌、縦隔リンパ結節、大脳動脈、下歯槽神経、腹部臓器などである。
以上の結果から,MedSAM-2は様々な既存モデルを超え,新しいSOTAを複数のベンチマークで更新した。
コードはプロジェクトページ(https://supermedintel.github.io/Medical-SAM2/)で公開されている。
関連論文リスト
- DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。
文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文 参考訳(メタデータ) (2024-10-05T14:36:43Z) - SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-16T17:55:38Z) - Segment Anything in Medical Images and Videos: Benchmark and Deployment [8.51742337818826]
まず,11種類の医用画像モダリティとビデオを対象としたSegment Anything Model 2 (SAM2) の総合的なベンチマークを行う。
そこで我々は,転写学習パイプラインを開発し,SAM2を微調整により医療領域に迅速に適用できることを実証した。
SAM2を3Dスライサプラグインとして,Gradio APIとして実装し,効率的な3D画像とビデオセグメンテーションを実現する。
論文 参考訳(メタデータ) (2024-08-06T17:58:18Z) - Biomedical SAM 2: Segment Anything in Biomedical Images and Videos [32.818587990862426]
BioSAM-2はSAM-2に基づくバイオメディカルデータに最適化された基盤モデルである。
実験の結果,BioSAM-2は既存の基礎モデルの性能を上回るだけでなく,専門モデルに適合するか,あるいは超えていることがわかった。
論文 参考訳(メタデータ) (2024-08-06T16:34:04Z) - Interactive 3D Medical Image Segmentation with SAM 2 [17.523874868612577]
ビデオで訓練した次世代のMeta SAMモデルSAM 2のゼロショット機能について, 医用画像のセグメンテーションについて検討する。
3D画像のシーケンシャルな2Dスライスをビデオフレームとして扱うことで、SAM 2は単一のフレームから3Dボリューム全体へのアノテーションの完全な伝達を可能にする。
論文 参考訳(メタデータ) (2024-08-05T16:58:56Z) - Segment anything model 2: an application to 2D and 3D medical images [16.253160684182895]
Segment Anything Model (SAM) は、プロンプトが与えられた画像に様々なオブジェクトをセグメント化できるため、注目されている。
最近開発されたSAM 2は、この機能をビデオ入力に拡張した。
これにより、SAMを3D画像に適用する機会が開ける。
論文 参考訳(メタデータ) (2024-08-01T17:57:25Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳(メタデータ) (2023-06-10T07:27:00Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。