論文の概要: 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable
Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2306.13465v1
- Date: Fri, 23 Jun 2023 12:09:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 12:59:19.891893
- Title: 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable
Medical Image Segmentation
- Title(参考訳): 3DSAM-adapter:医用画像分割のためのSAMの2Dから3Dへの完全適応
- Authors: Shizhan Gong, Yuan Zhong, Wenao Ma, Jinpeng Li, Zhao Wang, Jingyang
Zhang, Pheng-Ann Heng, Qi Dou
- Abstract要約: 医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
- 参考スコア(独自算出の注目度): 56.50064853710202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite that the segment anything model (SAM) achieved impressive results on
general-purpose semantic segmentation with strong generalization ability on
daily images, its demonstrated performance on medical image segmentation is
less precise and not stable, especially when dealing with tumor segmentation
tasks that involve objects of small sizes, irregular shapes, and low contrast.
Notably, the original SAM architecture is designed for 2D natural images,
therefore would not be able to extract the 3D spatial information from
volumetric medical data effectively. In this paper, we propose a novel
adaptation method for transferring SAM from 2D to 3D for promptable medical
image segmentation. Through a holistically designed scheme for architecture
modification, we transfer the SAM to support volumetric inputs while retaining
the majority of its pre-trained parameters for reuse. The fine-tuning process
is conducted in a parameter-efficient manner, wherein most of the pre-trained
parameters remain frozen, and only a few lightweight spatial adapters are
introduced and tuned. Regardless of the domain gap between natural and medical
data and the disparity in the spatial arrangement between 2D and 3D, the
transformer trained on natural images can effectively capture the spatial
patterns present in volumetric medical images with only lightweight
adaptations. We conduct experiments on four open-source tumor segmentation
datasets, and with a single click prompt, our model can outperform domain
state-of-the-art medical image segmentation models on 3 out of 4 tasks,
specifically by 8.25%, 29.87%, and 10.11% for kidney tumor, pancreas tumor,
colon cancer segmentation, and achieve similar performance for liver tumor
segmentation. We also compare our adaptation method with existing popular
adapters, and observed significant performance improvement on most datasets.
- Abstract(参考訳): segment anything model (sam) は一般意味セマンティクスセグメンテーションにおいて、日々のイメージに強い一般化能力を持つ印象的な結果を得たが、医用画像セグメンテーションのパフォーマンスは、特に小サイズ、不規則な形状、低コントラストのオブジェクトを含む腫瘍セグメンテーションタスクを扱う場合、あまり正確で安定ではない。
特に、オリジナルのsamアーキテクチャは2次元自然画像用に設計されているため、ボリューム医療データから3d空間情報を効果的に抽出することはできない。
本稿では,医療用画像分割のための2dから3dにsamを変換する新しい適応法を提案する。
アーキテクチャ修正のための全体設計スキームを通じて、SAMをボリューム入力をサポートするために転送し、事前訓練されたパラメータの大半を再利用するために保持する。
微調整プロセスはパラメータ効率良く実施され、事前学習されたパラメータのほとんどは凍結され、わずかな軽量な空間アダプターが導入されただけで調整される。
自然データと医学データとの領域差と2dと3dの空間配置の差とは関係なく、自然画像で訓練されたトランスフォーマーは、軽量な適応だけで体積医療画像に存在する空間パターンを効果的に捉えることができる。
4つのオープンソースの腫瘍セグメンテーションデータセットについて実験を行い、ワンクリックプロンプトで、このモデルは4つのタスクのうち3つ(特に8.25%、29.87%、および10.11%)のうち、腎臓腫瘍、膵臓腫瘍、大腸癌セグメンテーションにおいて、ドメイン最先端の医用画像セグメンテーションモデルを上回ることができる。
また,提案手法を既存の一般的なアダプタと比較し,ほとんどのデータセットで大幅な性能向上が見られた。
関連論文リスト
- Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic
Segmentation [49.916468280857885]
Mask-Enhanced SAM (M-SAM) は3次元腫瘍病変の分節に適した革新的なアーキテクチャである。
本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。
論文 参考訳(メタデータ) (2024-03-09T13:37:02Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained
Image Foundation Models [13.08275555017179]
単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。
今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
論文 参考訳(メタデータ) (2023-10-30T16:49:03Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。
我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
論文 参考訳(メタデータ) (2023-09-07T06:05:28Z) - Auto-Prompting SAM for Mobile Friendly 3D Medical Image Segmentation [11.70892315284039]
Segment Anything Model (SAM)は、幅広い自然画像のセグメンテーションに急速に採用されている。
近年の研究では、SAMは3次元医用画像分割作業においてサブパーパフォーマンスを示すことが示されている。
本稿では,3次元多臓器CTを用いたセグメンテーションのための新しい手法AutoSAM Adapterを提案する。
論文 参考訳(メタデータ) (2023-08-28T23:23:53Z) - Diffusion Models for Counterfactual Generation and Anomaly Detection in
Brain Images [59.85702949046042]
病気の画像の健全なバージョンを生成し,それを用いて画素単位の異常マップを得るための弱教師付き手法を提案する。
健常者を対象にした拡散モデルを用いて, サンプリングプロセスの各ステップで拡散拡散確率モデル (DDPM) と拡散拡散確率モデル (DDIM) を組み合わせる。
本手法が正常なサンプルに適用された場合,入力画像は大幅な修正を伴わずに再構成されることを確認した。
論文 参考訳(メタデータ) (2023-08-03T21:56:50Z) - Med-DANet: Dynamic Architecture Network for Efficient Medical Volumetric
Segmentation [13.158995287578316]
我々は,Med-DANetという動的アーキテクチャネットワークを提案し,効率的な精度と効率のトレードオフを実現する。
入力された3次元MRIボリュームのスライス毎に,提案手法は決定ネットワークによってスライス固有の決定を学習する。
提案手法は, 従来の3次元MRI脳腫瘍セグメント化法と比較して, 同等あるいは良好な結果が得られる。
論文 参考訳(メタデータ) (2022-06-14T03:25:58Z) - Automatic size and pose homogenization with spatial transformer network
to improve and accelerate pediatric segmentation [51.916106055115755]
空間変換器ネットワーク(STN)を利用することにより、ポーズとスケール不変の新たなCNNアーキテクチャを提案する。
私たちのアーキテクチャは、トレーニング中に一緒に見積もられる3つのシーケンシャルモジュールで構成されています。
腹部CTスキャナーを用いた腎および腎腫瘍の分節法について検討した。
論文 参考訳(メタデータ) (2021-07-06T14:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。