論文の概要: Segment anything model 2: an application to 2D and 3D medical images
- arxiv url: http://arxiv.org/abs/2408.00756v1
- Date: Thu, 1 Aug 2024 17:57:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 19:37:48.229337
- Title: Segment anything model 2: an application to 2D and 3D medical images
- Title(参考訳): セグメンテーションモデル2--2次元および3次元医用画像への応用
- Authors: Haoyu Dong, Hanxue Gu, Yaqian Chen, Jichen Yang, Maciej A. Mazurowski,
- Abstract要約: Segment Anything Model (SAM) は、様々なオブジェクトを画像にセグメント化できることから注目されている。
最近開発されたSAM 2は、この機能をビデオ入力に拡張した。
これにより、SAMを3D画像に適用する機会が開ける。
- 参考スコア(独自算出の注目度): 11.233583759477717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Segment Anything Model (SAM) has gained significant attention because of its ability to segment a variety of objects in images given a prompt. The recently developed SAM 2 has extended this ability to video inputs. This opens an opportunity to apply SAM to 3D images, one of the fundamental tasks in the medical imaging field. In this paper, we provide an extensive evaluation of SAM 2's ability to segment both 2D and 3D medical images. We collect 18 medical imaging datasets, including common 3D modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and positron emission tomography (PET) as well as 2D modalities such as X-ray and ultrasound. We consider two evaluation pipelines of SAM 2: (1) multi-frame 3D segmentation, where prompts are provided to one or multiple slice(s) selected from the volume, and (2) single-frame 2D segmentation, where prompts are provided to each slice. The former is only applicable to 3D modalities, while the latter applies to both 2D and 3D modalities. We learn that SAM 2 exhibits similar performance as SAM under single-frame 2D segmentation, and has variable performance under multi-frame 3D segmentation depending on the choices of slices to annotate, the direction of the propagation, the predictions utilized during the propagation, etc.
- Abstract(参考訳): Segment Anything Model (SAM) は、様々なオブジェクトを画像にセグメント化できることから注目されている。
最近開発されたSAM 2は、この機能をビデオ入力に拡張した。
これにより、SAMを3D画像に適用する機会が開ける。
本稿では,SAM2の2次元画像と3次元画像の両方を分割する能力を広範囲に評価する。
我々は,CT (Computed tomography) やMRI (Magnetic resonance imaging) ,PET (positron emission tomography) などの一般的な3Dモダリティや,X線や超音波などの2Dモダリティを含む18の医用画像データセットを収集した。
SAM2の評価パイプラインは,(1)ボリュームから選択した1つまたは複数のスライスに対してプロンプトが提供されるマルチフレーム3Dセグメンテーションと,(2)スライス毎にプロンプトが提供されるシングルフレーム2Dセグメンテーションである。
前者は3Dモダリティにのみ適用され、後者は2Dモダリティと3Dモダリティの両方に適用される。
SAM 2 は,単フレーム2次元セグメンテーションにおいてSAM と同様の性能を示し,アノテートするスライスの選択,伝搬方向,伝搬中に利用した予測などに応じて,多フレーム3次元セグメンテーション下での変動性能を有することがわかった。
関連論文リスト
- DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。
文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文 参考訳(メタデータ) (2024-10-05T14:36:43Z) - SAM2Point: Segment Any 3D as Videos in Zero-shot and Promptable Manners [87.76470518069338]
SAM2Pointは,Segment Anything Model 2 (SAM2) に適応した予備的な探索手法である。
本フレームワークは3Dポイントやボックス,マスクなど,さまざまなプロンプトタイプをサポートし,3Dオブジェクトや屋内シーン,疎外環境,生のLiDARなど,さまざまなシナリオを一般化することができる。
我々の知る限り、SAMの3Dにおける最も忠実な実装は、3Dセグメンテーションにおける将来の研究の出発点となるかもしれない。
論文 参考訳(メタデータ) (2024-08-29T17:59:45Z) - Segment Anything in Medical Images and Videos: Benchmark and Deployment [8.51742337818826]
まず,11種類の医用画像モダリティとビデオを対象としたSegment Anything Model 2 (SAM2) の総合的なベンチマークを行う。
そこで我々は,転写学習パイプラインを開発し,SAM2を微調整により医療領域に迅速に適用できることを実証した。
SAM2を3Dスライサプラグインとして,Gradio APIとして実装し,効率的な3D画像とビデオセグメンテーションを実現する。
論文 参考訳(メタデータ) (2024-08-06T17:58:18Z) - Interactive 3D Medical Image Segmentation with SAM 2 [17.523874868612577]
ビデオで訓練した次世代のMeta SAMモデルSAM 2のゼロショット機能について, 医用画像のセグメンテーションについて検討する。
3D画像のシーケンシャルな2Dスライスをビデオフレームとして扱うことで、SAM 2は単一のフレームから3Dボリューム全体へのアノテーションの完全な伝達を可能にする。
論文 参考訳(メタデータ) (2024-08-05T16:58:56Z) - Medical SAM 2: Segment medical images as video via Segment Anything Model 2 [4.911843298581903]
医用SAM2(MedSAM-2)は,2次元および3次元の医用画像のセグメンテーション作業に対処する高度なセグメンテーションモデルである。
MedSAM-2は、3Dの医療画像だけでなく、新しいOne-prompt機能をアンロックする。
以上の結果から,MedSAM-2は既存モデルに勝るだけでなく,医療画像のセグメンテーションタスクにも優れることがわかった。
論文 参考訳(メタデータ) (2024-08-01T18:49:45Z) - SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images [35.83393121891959]
ボリューム医療画像の汎用セグメンテーションのためのSAM-Med3Dを提案する。
SAM-Med3Dは様々な解剖学的構造と病変を正確に分類することができる。
提案手法は,医療資源を多用した汎用医療AIの開発に活用できることを実証するものである。
論文 参考訳(メタデータ) (2023-10-23T17:57:36Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z) - Self-Supervised Multi-Modal Alignment for Whole Body Medical Imaging [70.52819168140113]
我々は、英国バイオバンクの2万名以上の被験者のデータセットを使用し、全体Dixon法磁気共鳴法(MR)スキャンとデュアルエネルギーX線吸収率法(DXA)スキャンを併用した。
マルチモーダル画像マッチングコントラストフレームワークを導入し、同一対象の異なるモダリティスキャンを高精度にマッチングすることができる。
適応がなければ、この対照的なトレーニングステップで学習した対応が、自動クロスモーダルスキャン登録の実行に利用できることを示す。
論文 参考訳(メタデータ) (2021-07-14T12:35:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。