論文の概要: 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation

• arxiv url: http://arxiv.org/abs/2306.13465v2
• Date: Wed, 02 Oct 2024 16:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:15.039170
• Title: 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation
• Title（参考訳）: 3DSAM-adapter : 2Dから3DへのSAMの立体的適応
• Authors: Shizhan Gong, Yuan Zhong, Wenao Ma, Jinpeng Li, Zhao Wang, Jingyang Zhang, Pheng-Ann Heng, Qi Dou,
• Abstract要約: 医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
• 参考スコア（独自算出の注目度）: 52.699139151447945
• License:
• Abstract: Despite that the segment anything model (SAM) achieved impressive results on general-purpose semantic segmentation with strong generalization ability on daily images, its demonstrated performance on medical image segmentation is less precise and not stable, especially when dealing with tumor segmentation tasks that involve objects of small sizes, irregular shapes, and low contrast. Notably, the original SAM architecture is designed for 2D natural images, therefore would not be able to extract the 3D spatial information from volumetric medical data effectively. In this paper, we propose a novel adaptation method for transferring SAM from 2D to 3D for promptable medical image segmentation. Through a holistically designed scheme for architecture modification, we transfer the SAM to support volumetric inputs while retaining the majority of its pre-trained parameters for reuse. The fine-tuning process is conducted in a parameter-efficient manner, wherein most of the pre-trained parameters remain frozen, and only a few lightweight spatial adapters are introduced and tuned. Regardless of the domain gap between natural and medical data and the disparity in the spatial arrangement between 2D and 3D, the transformer trained on natural images can effectively capture the spatial patterns present in volumetric medical images with only lightweight adaptations. We conduct experiments on four open-source tumor segmentation datasets, and with a single click prompt, our model can outperform domain state-of-the-art medical image segmentation models on 3 out of 4 tasks, specifically by 8.25%, 29.87%, and 10.11% for kidney tumor, pancreas tumor, colon cancer segmentation, and achieve similar performance for liver tumor segmentation. We also compare our adaptation method with existing popular adapters, and observed significant performance improvement on most datasets.
• Abstract（参考訳）: 画像上での汎用的セマンティックセマンティックセマンティクスにおけるセマンティクスモデル (SAM) は, 医用画像セマンティクスの性能は, 精度が低く, 安定していないにもかかわらず, 特に小ささ, 不規則な形状, 低コントラストの物体を含む腫瘍セマンティクスのセマンティクスタスクでは, 顕著な結果が得られた。 特に、オリジナルのSAMアーキテクチャは2次元の自然画像のために設計されているため、ボリューム医療データから3次元空間情報を効率的に抽出することはできない。 本稿では,SAMを2次元から3次元に変換する新しい適応法を提案する。 アーキテクチャ修正のための全体設計スキームを通じて、SAMをボリューム入力をサポートするために転送し、事前訓練されたパラメータの大半を再利用するために保持する。 微調整プロセスはパラメータ効率のよい方法で行われ、事前訓練されたパラメータのほとんどは凍結状態のままであり、わずかに軽量な空間アダプタが導入され調整される。 自然と医療データの領域ギャップと2Dと3Dの空間配置の相違にかかわらず、自然画像に基づいて訓練されたトランスフォーマーは、軽量な適応だけで、ボリューム医療画像に存在する空間パターンを効果的にキャプチャすることができる。 われわれは4つのオープンソース腫瘍セグメンテーションデータセットについて実験を行い、単クリックプロンプトを用いて4つのタスクのうち、特に8.25%、29.87%、10.11%が腎腫瘍、膵腫瘍、大腸癌セグメンテーションに対して、最先端の医療画像セグメンテーションモデルより優れており、肝腫瘍セグメンテーションにおける同様のパフォーマンスが得られている。 また,提案手法を既存の一般的なアダプタと比較し,ほとんどのデータセットで大幅な性能向上が見られた。

関連論文リスト

• Novel adaptation of video segmentation to 3D MRI: efficient zero-shot knee segmentation with SAM2 [1.6237741047782823]
  Segment Anything Model 2 を応用した3次元膝関節MRIのゼロショット単発セグメンテーション法を提案する。 3次元医用ボリュームのスライスを個々のビデオフレームとして扱うことで、SAM2の高度な能力を利用して、モーションおよび空間認識の予測を生成する。 SAM2は、訓練や微調整を伴わずに、ゼロショット方式でセグメント化タスクを効率的に実行できることを実証する。
  論文  参考訳（メタデータ） (2024-08-08T21:39:15Z)
• Towards a Comprehensive, Efficient and Promptable Anatomic Structure Segmentation Model using 3D Whole-body CT Scans [23.573958232965104]
  Segment Any Model (SAM) は、自然画像のセグメンテーションにおける強力な能力の一般化を示す。 3D放射線CTまたはMRIスキャンを分割するには、2D SAMモデルは数百の2Dスライスを別々に処理する必要がある。 我々はCT-SAM3Dという全身CTセグメント化のための包括的でスケーラブルな3次元SAMモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-22T09:40:52Z)
• Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic Segmentation [48.107348956719775]
  Mask-Enhanced SAM (M-SAM) は, 腫瘍の3次元セグメント化に適した革新的なアーキテクチャである。 本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。 我々のM-SAMは高いセグメンテーション精度を達成し、またロバストな一般化を示す。
  論文  参考訳（メタデータ） (2024-03-09T13:37:02Z)
• SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging [59.78761085714715]
  本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。 提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。 科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-02-27T06:32:56Z)
• Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained Image Foundation Models [13.08275555017179]
  単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。 今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
  論文  参考訳（メタデータ） (2023-10-30T16:49:03Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
  本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。 我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
  論文  参考訳（メタデータ） (2023-09-07T06:05:28Z)
• View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
  より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。 まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。 第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。 第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
  論文  参考訳（メタデータ） (2022-09-20T11:58:23Z)
• Automatic size and pose homogenization with spatial transformer network to improve and accelerate pediatric segmentation [51.916106055115755]
  空間変換器ネットワーク(STN)を利用することにより、ポーズとスケール不変の新たなCNNアーキテクチャを提案する。 私たちのアーキテクチャは、トレーニング中に一緒に見積もられる3つのシーケンシャルモジュールで構成されています。 腹部CTスキャナーを用いた腎および腎腫瘍の分節法について検討した。
  論文  参考訳（メタデータ） (2021-07-06T14:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。