論文の概要: Interactive 3D Medical Image Segmentation with SAM 2
- arxiv url: http://arxiv.org/abs/2408.02635v1
- Date: Mon, 5 Aug 2024 16:58:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 12:56:48.530125
- Title: Interactive 3D Medical Image Segmentation with SAM 2
- Title(参考訳): SAM 2を用いたインタラクティブな3次元医用画像分割
- Authors: Chuyun Shen, Wenhao Li, Yuhang Shi, Xiangfeng Wang,
- Abstract要約: ビデオで訓練した次世代のMeta SAMモデルSAM 2のゼロショット機能について, 医用画像のセグメンテーションについて検討する。
3D画像のシーケンシャルな2Dスライスをビデオフレームとして扱うことで、SAM 2は単一のフレームから3Dボリューム全体へのアノテーションの完全な伝達を可能にする。
- 参考スコア(独自算出の注目度): 17.523874868612577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive medical image segmentation (IMIS) has shown significant potential in enhancing segmentation accuracy by integrating iterative feedback from medical professionals. However, the limited availability of enough 3D medical data restricts the generalization and robustness of most IMIS methods. The Segment Anything Model (SAM), though effective for 2D images, requires expensive semi-auto slice-by-slice annotations for 3D medical images. In this paper, we explore the zero-shot capabilities of SAM 2, the next-generation Meta SAM model trained on videos, for 3D medical image segmentation. By treating sequential 2D slices of 3D images as video frames, SAM 2 can fully automatically propagate annotations from a single frame to the entire 3D volume. We propose a practical pipeline for using SAM 2 in 3D medical image segmentation and present key findings highlighting its efficiency and potential for further optimization. Concretely, numerical experiments on the BraTS2020 and the medical segmentation decathlon datasets demonstrate that SAM 2 still has a gap with supervised methods but can narrow the gap in specific settings and organ types, significantly reducing the annotation burden on medical professionals. Our code will be open-sourced and available at https://github.com/Chuyun-Shen/SAM_2_Medical_3D.
- Abstract(参考訳): インタラクティブな医用画像分割(IMIS)は, 医療専門家からの反復的なフィードバックを取り入れることで, セグメンテーションの精度を高める上で有意な可能性を秘めている。
しかし、十分な3D医療データの可用性は、ほとんどのIMIS手法の一般化と堅牢性を制限する。
SAM(Segment Anything Model)は2次元画像に有効だが、高価な半自動スライス・バイ・スライス・アノテーションを必要とする。
本稿では,ビデオで訓練した次世代のMeta SAMモデルであるSAM 2のゼロショット機能について,医用画像の3次元分割について検討する。
3D画像のシーケンシャルな2Dスライスをビデオフレームとして扱うことで、SAM 2は単一のフレームから3Dボリューム全体へのアノテーションの完全な伝達を可能にする。
本稿では,SAM2を3次元医用画像分割に活用するための実用的なパイプラインを提案し,その効率性とさらなる最適化の可能性を示す重要な知見を示す。
具体的には、BraTS2020と医療セグメンテーションのデカトロンデータセットに関する数値実験により、SAM 2はいまだに監督された方法とのギャップがあるが、特定の設定や臓器タイプとのギャップを狭め、医療専門家のアノテーション負担を著しく軽減できることを示した。
私たちのコードは、https://github.com/Chuyun-Shen/SAM_2_Medical_3Dで公開されます。
関連論文リスト
- DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。
文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文 参考訳(メタデータ) (2024-10-05T14:36:43Z) - SAM2Point: Segment Any 3D as Videos in Zero-shot and Promptable Manners [87.76470518069338]
SAM2Pointは,Segment Anything Model 2 (SAM2) に適応した予備的な探索手法である。
本フレームワークは3Dポイントやボックス,マスクなど,さまざまなプロンプトタイプをサポートし,3Dオブジェクトや屋内シーン,疎外環境,生のLiDARなど,さまざまなシナリオを一般化することができる。
我々の知る限り、SAMの3Dにおける最も忠実な実装は、3Dセグメンテーションにおける将来の研究の出発点となるかもしれない。
論文 参考訳(メタデータ) (2024-08-29T17:59:45Z) - A Short Review and Evaluation of SAM2's Performance in 3D CT Image Segmentation [18.543271487108868]
既存のベンチマークをレビューし、SAM2論文が明らかにゼロショット評価パイプラインを概説していることを指摘した。
以上より, SAM2をゼロショット撮影で直接3D画像に応用することは, 十分ではないことが明らかとなった。
腎臓や大動脈のような小さな単連結体ではSAM2は適度に機能するが、ほとんどの臓器では最先端の3Dアノテーション法よりもはるかに遅れている。
論文 参考訳(メタデータ) (2024-08-20T22:08:42Z) - Segment Anything in Medical Images and Videos: Benchmark and Deployment [8.51742337818826]
まず,11種類の医用画像モダリティとビデオを対象としたSegment Anything Model 2 (SAM2) の総合的なベンチマークを行う。
そこで我々は,転写学習パイプラインを開発し,SAM2を微調整により医療領域に迅速に適用できることを実証した。
SAM2を3Dスライサプラグインとして,Gradio APIとして実装し,効率的な3D画像とビデオセグメンテーションを実現する。
論文 参考訳(メタデータ) (2024-08-06T17:58:18Z) - Medical SAM 2: Segment medical images as video via Segment Anything Model 2 [4.911843298581903]
医用SAM2(MedSAM-2)は,2次元および3次元の医用画像のセグメンテーション作業に対処する高度なセグメンテーションモデルである。
MedSAM-2は、3Dの医療画像だけでなく、新しいOne-prompt機能をアンロックする。
以上の結果から,MedSAM-2は既存モデルに勝るだけでなく,医療画像のセグメンテーションタスクにも優れることがわかった。
論文 参考訳(メタデータ) (2024-08-01T18:49:45Z) - Segment anything model 2: an application to 2D and 3D medical images [16.253160684182895]
Segment Anything Model (SAM) は、プロンプトが与えられた画像に様々なオブジェクトをセグメント化できるため、注目されている。
最近開発されたSAM 2は、この機能をビデオ入力に拡張した。
これにより、SAMを3D画像に適用する機会が開ける。
論文 参考訳(メタデータ) (2024-08-01T17:57:25Z) - M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
これまでの研究は主に2Dの医療画像に焦点を合わせてきた。
120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。
また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
論文 参考訳(メタデータ) (2024-03-31T06:55:12Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。
我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
論文 参考訳(メタデータ) (2023-09-07T06:05:28Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。