論文の概要: 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2306.13465v1
• Date: Fri, 23 Jun 2023 12:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 12:59:19.891893
• Title: 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable Medical Image Segmentation
• Title（参考訳）: 3DSAM-adapter:医用画像分割のためのSAMの2Dから3Dへの完全適応
• Authors: Shizhan Gong, Yuan Zhong, Wenao Ma, Jinpeng Li, Zhao Wang, Jingyang Zhang, Pheng-Ann Heng, Qi Dou
• Abstract要約: 医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
• 参考スコア（独自算出の注目度）: 56.50064853710202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite that the segment anything model (SAM) achieved impressive results on general-purpose semantic segmentation with strong generalization ability on daily images, its demonstrated performance on medical image segmentation is less precise and not stable, especially when dealing with tumor segmentation tasks that involve objects of small sizes, irregular shapes, and low contrast. Notably, the original SAM architecture is designed for 2D natural images, therefore would not be able to extract the 3D spatial information from volumetric medical data effectively. In this paper, we propose a novel adaptation method for transferring SAM from 2D to 3D for promptable medical image segmentation. Through a holistically designed scheme for architecture modification, we transfer the SAM to support volumetric inputs while retaining the majority of its pre-trained parameters for reuse. The fine-tuning process is conducted in a parameter-efficient manner, wherein most of the pre-trained parameters remain frozen, and only a few lightweight spatial adapters are introduced and tuned. Regardless of the domain gap between natural and medical data and the disparity in the spatial arrangement between 2D and 3D, the transformer trained on natural images can effectively capture the spatial patterns present in volumetric medical images with only lightweight adaptations. We conduct experiments on four open-source tumor segmentation datasets, and with a single click prompt, our model can outperform domain state-of-the-art medical image segmentation models on 3 out of 4 tasks, specifically by 8.25%, 29.87%, and 10.11% for kidney tumor, pancreas tumor, colon cancer segmentation, and achieve similar performance for liver tumor segmentation. We also compare our adaptation method with existing popular adapters, and observed significant performance improvement on most datasets.
• Abstract（参考訳）: segment anything model (sam) は一般意味セマンティクスセグメンテーションにおいて、日々のイメージに強い一般化能力を持つ印象的な結果を得たが、医用画像セグメンテーションのパフォーマンスは、特に小サイズ、不規則な形状、低コントラストのオブジェクトを含む腫瘍セグメンテーションタスクを扱う場合、あまり正確で安定ではない。 特に、オリジナルのsamアーキテクチャは2次元自然画像用に設計されているため、ボリューム医療データから3d空間情報を効果的に抽出することはできない。 本稿では,医療用画像分割のための2dから3dにsamを変換する新しい適応法を提案する。 アーキテクチャ修正のための全体設計スキームを通じて、SAMをボリューム入力をサポートするために転送し、事前訓練されたパラメータの大半を再利用するために保持する。 微調整プロセスはパラメータ効率良く実施され、事前学習されたパラメータのほとんどは凍結され、わずかな軽量な空間アダプターが導入されただけで調整される。 自然データと医学データとの領域差と2dと3dの空間配置の差とは関係なく、自然画像で訓練されたトランスフォーマーは、軽量な適応だけで体積医療画像に存在する空間パターンを効果的に捉えることができる。 4つのオープンソースの腫瘍セグメンテーションデータセットについて実験を行い、ワンクリックプロンプトで、このモデルは4つのタスクのうち3つ(特に8.25%、29.87%、および10.11%)のうち、腎臓腫瘍、膵臓腫瘍、大腸癌セグメンテーションにおいて、ドメイン最先端の医用画像セグメンテーションモデルを上回ることができる。 また,提案手法を既存の一般的なアダプタと比較し,ほとんどのデータセットで大幅な性能向上が見られた。

関連論文リスト

• Novel adaptation of video segmentation to 3D MRI: efficient zero-shot knee segmentation with SAM2 [1.6237741047782823]
  Segment Anything Model 2 を応用した3次元膝関節MRIのゼロショット単発セグメンテーション法を提案する。 3次元医用ボリュームのスライスを個々のビデオフレームとして扱うことで、SAM2の高度な能力を利用して、モーションおよび空間認識の予測を生成する。 SAM2は、訓練や微調整を伴わずに、ゼロショット方式でセグメント化タスクを効率的に実行できることを実証する。
  論文  参考訳（メタデータ） (2024-08-08T21:39:15Z)
• Towards a Comprehensive, Efficient and Promptable Anatomic Structure Segmentation Model using 3D Whole-body CT Scans [23.573958232965104]
  Segment Any Model (SAM) は、自然画像のセグメンテーションにおける強力な能力の一般化を示す。 3D放射線CTまたはMRIスキャンを分割するには、2D SAMモデルは数百の2Dスライスを別々に処理する必要がある。 我々はCT-SAM3Dという全身CTセグメント化のための包括的でスケーラブルな3次元SAMモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-22T09:40:52Z)
• Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic Segmentation [48.107348956719775]
  Mask-Enhanced SAM (M-SAM) は, 腫瘍の3次元セグメント化に適した革新的なアーキテクチャである。 本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。 我々のM-SAMは高いセグメンテーション精度を達成し、またロバストな一般化を示す。
  論文  参考訳（メタデータ） (2024-03-09T13:37:02Z)
• SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
  本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。 提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。 科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-02-27T06:32:56Z)
• Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models [13.08275555017179]
  単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。 今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
  論文  参考訳（メタデータ） (2023-10-30T16:49:03Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
  本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。 我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
  論文  参考訳（メタデータ） (2023-09-07T06:05:28Z)
• View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
  より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。 まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。 第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。 第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
  論文  参考訳（メタデータ） (2022-09-20T11:58:23Z)
• Automatic size and pose homogenization with spatial transformer network to improve and accelerate pediatric segmentation [51.916106055115755]
  空間変換器ネットワーク(STN)を利用することにより、ポーズとスケール不変の新たなCNNアーキテクチャを提案する。 私たちのアーキテクチャは、トレーニング中に一緒に見積もられる3つのシーケンシャルモジュールで構成されています。 腹部CTスキャナーを用いた腎および腎腫瘍の分節法について検討した。
  論文  参考訳（メタデータ） (2021-07-06T14:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。