論文の概要: MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2309.08842v1
• Date: Sat, 16 Sep 2023 02:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 19:03:49.584912
• Title: MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation
• Title（参考訳）: MA-SAM : 3次元医用画像分割のためのモダリティ非依存SAM適応
• Authors: Cheng Chen, Juzheng Miao, Dufan Wu, Zhiling Yan, Sekeun Kim, Jiang Hu, Aoxiao Zhong, Zhengliang Liu, Lichao Sun, Xiang Li, Tianming Liu, Pheng-Ann Heng, Quanzheng Li
• Abstract要約: 我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
• 参考スコア（独自算出の注目度）: 58.53672866662472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Segment Anything Model (SAM), a foundation model for general image segmentation, has demonstrated impressive zero-shot performance across numerous natural image segmentation tasks. However, SAM's performance significantly declines when applied to medical images, primarily due to the substantial disparity between natural and medical image domains. To effectively adapt SAM to medical images, it is important to incorporate critical third-dimensional information, i.e., volumetric or temporal knowledge, during fine-tuning. Simultaneously, we aim to harness SAM's pre-trained weights within its original 2D backbone to the fullest extent. In this paper, we introduce a modality-agnostic SAM adaptation framework, named as MA-SAM, that is applicable to various volumetric and video medical data. Our method roots in the parameter-efficient fine-tuning strategy to update only a small portion of weight increments while preserving the majority of SAM's pre-trained weights. By injecting a series of 3D adapters into the transformer blocks of the image encoder, our method enables the pre-trained 2D backbone to extract third-dimensional information from input data. The effectiveness of our method has been comprehensively evaluated on four medical image segmentation tasks, by using 10 public datasets across CT, MRI, and surgical video data. Remarkably, without using any prompt, our method consistently outperforms various state-of-the-art 3D approaches, surpassing nnU-Net by 0.9%, 2.6%, and 9.9% in Dice for CT multi-organ segmentation, MRI prostate segmentation, and surgical scene segmentation respectively. Our model also demonstrates strong generalization, and excels in challenging tumor segmentation when prompts are used. Our code is available at: https://github.com/cchen-cc/MA-SAM.
• Abstract（参考訳）: 一般画像セグメンテーションの基礎モデルであるsegment anything model(sam)は、多数の自然画像セグメンテーションタスクで印象的なゼロショット性能を示している。 しかし、サムのパフォーマンスは、主に自然画像領域と医療画像領域のかなりの差のため、医療画像に適用すると著しく低下する。 samを医用画像に効果的に適応させるためには,音量的知識や時間的知識などの重要な3次元情報を取り込むことが重要である。 同時に、SAMのトレーニング済み重量を元の2Dバックボーン内で最大限に活用することを目指している。 本稿では,様々なボリュームおよびビデオ医療データに適用可能なモダリティ非依存なSAM適応フレームワークであるMA-SAMを紹介する。 本手法は,SAMのトレーニング済み重量の大部分を保存しながら,少量の重量増分だけを更新するパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。 提案手法の有効性を,CT,MRI,手術画像データにまたがる10の公開データセットを用いて,4つの画像分割作業において総合的に評価した。 驚くべきことに,この方法はプロンプトを使わずに,nnu-netを0.9%,2.6%,9.9%上回り,ctマルチオルガンセグメンテーション,mri前立腺セグメンテーション,外科的シーンセグメンテーションをそれぞれ上回っている。 また,本モデルでは高い一般化を示し,プロンプトを用いた場合の腫瘍セグメンテーションに長けている。 私たちのコードは、https://github.com/cchen-cc/MA-SAM.comで利用可能です。

関連論文リスト

• DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
  本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。 文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
  論文  参考訳（メタデータ） (2024-10-05T14:36:43Z)
• SAM-UNet:Enhancing Zero-Shot Segmentation of SAM for Universal Medical Images [40.4422523499489]
  Segment Anything Model (SAM) は、様々な自然画像のセグメンテーションタスクにおいて印象的な性能を示した。 本稿では,U-Netを元のSAMに組み込んだ新たな基盤モデルSAMUNetを提案する。 我々は,SA-Med2D-16MでSAM-UNetをトレーニングした。
  論文  参考訳（メタデータ） (2024-08-19T11:01:00Z)
• Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic Segmentation [48.107348956719775]
  Mask-Enhanced SAM (M-SAM) は, 腫瘍の3次元セグメント化に適した革新的なアーキテクチャである。 本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。 我々のM-SAMは高いセグメンテーション精度を達成し、またロバストな一般化を示す。
  論文  参考訳（メタデータ） (2024-03-09T13:37:02Z)
• SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images [35.83393121891959]
  ボリューム医療画像の汎用セグメンテーションのためのSAM-Med3Dを提案する。 SAM-Med3Dは様々な解剖学的構造と病変を正確に分類することができる。 提案手法は,医療資源を多用した汎用医療AIの開発に活用できることを実証するものである。
  論文  参考訳（メタデータ） (2023-10-23T17:57:36Z)
• SAM3D: Segment Anything Model in Volumetric Medical Images [11.764867415789901]
  本稿では,3次元ボリューム画像解析に適した革新的適応であるSAM3Dを紹介する。 我々のSAM3Dモデルは、ボリュームを個別に2次元スライスに変換することでボリュームデータを分割する現在のSAMベース手法とは異なり、統一的なアプローチで全3次元ボリューム画像を処理する。
  論文  参考訳（メタデータ） (2023-09-07T06:05:28Z)
• AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation [49.59991322513561]
  本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。 AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。 実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-07T17:12:54Z)
• 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
  医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
  論文  参考訳（メタデータ） (2023-06-23T12:09:52Z)
• Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
  Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。 近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。 ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
  論文  参考訳（メタデータ） (2023-04-25T07:34:22Z)
• Segment Anything Model for Medical Image Analysis: an Experimental Study [19.95972201734614]
  Segment Anything Model (SAM) は、ユーザ定義オブジェクトをインタラクティブな方法でセグメント化する基礎モデルである。 SAMの医用画像の分類能力について,各種のモダリティと解剖から,19の医用画像データセットの集合体を用いて評価した。
  論文  参考訳（メタデータ） (2023-04-20T17:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。