論文の概要: SAM-Med3D-MoE: Towards a Non-Forgetting Segment Anything Model via Mixture of Experts for 3D Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2407.04938v1
- Date: Sat, 6 Jul 2024 03:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 21:57:27.483464
- Title: SAM-Med3D-MoE: Towards a Non-Forgetting Segment Anything Model via Mixture of Experts for 3D Medical Image Segmentation
- Title（参考訳）: SAM-Med3D-MoE:3次元医用画像セグメンテーションのためのエキスパートの混合による非予測セグメンテーションモデルに向けて
- Authors: Guoan Wang, Jin Ye, Junlong Cheng, Tianbin Li, Zhaolin Chen, Jianfei Cai, Junjun He, Bohan Zhuang,
- Abstract要約: Supervised Finetuning (SFT) は、タスク固有の下流タスクに基礎モデルを適用する効果的な方法として機能する。
本稿では,タスク固有の微調整モデルと基礎モデルとをシームレスに統合する新しいフレームワークSAM-Med3D-MoEを提案する。
実験では, SAM-Med3D-MoEの有効性を実証し, 平均Dice性能は15種類のクラスで53から56.4に向上した。
- 参考スコア（独自算出の注目度）: 36.95030121663565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Volumetric medical image segmentation is pivotal in enhancing disease diagnosis, treatment planning, and advancing medical research. While existing volumetric foundation models for medical image segmentation, such as SAM-Med3D and SegVol, have shown remarkable performance on general organs and tumors, their ability to segment certain categories in clinical downstream tasks remains limited. Supervised Finetuning (SFT) serves as an effective way to adapt such foundation models for task-specific downstream tasks but at the cost of degrading the general knowledge previously stored in the original foundation model.To address this, we propose SAM-Med3D-MoE, a novel framework that seamlessly integrates task-specific finetuned models with the foundational model, creating a unified model at minimal additional training expense for an extra gating network. This gating network, in conjunction with a selection strategy, allows the unified model to achieve comparable performance of the original models in their respective tasks both general and specialized without updating any parameters of them.Our comprehensive experiments demonstrate the efficacy of SAM-Med3D-MoE, with an average Dice performance increase from 53 to 56.4 on 15 specific classes. It especially gets remarkable gains of 29.6, 8.5, 11.2 on the spinal cord, esophagus, and right hip, respectively. Additionally, it achieves 48.9 Dice on the challenging SPPIN2023 Challenge, significantly surpassing the general expert's performance of 32.3. We anticipate that SAM-Med3D-MoE can serve as a new framework for adapting the foundation model to specific areas in medical image analysis. Codes and datasets will be publicly available.
- Abstract（参考訳）: ボリューム・メディカル・イメージ・セグメンテーションは、疾患の診断、治療計画の強化、医学研究の進展に重要な役割を担っている。
SAM-Med3DやSegVolのような既存の医用画像セグメンテーションのためのボリューム基盤モデルは、一般的な臓器や腫瘍に対して顕著な性能を示してきたが、臨床下流のタスクにおいて特定のカテゴリをセグメント化できる能力は依然として限られている。
そこで本研究では,タスク固有の微調整モデルを基本モデルとシームレスに統合し,追加ゲーティングネットワークのための最小限のトレーニングコストで統一モデルを作成する新しいフレームワークであるSAM-Med3D-MoEを提案する。
このゲーティングネットワークは、選択戦略とともに、各タスクにおける元のモデルと同等の性能を、パラメータを更新することなく、一般と特殊の両方で達成し、我々の総合的な実験では、Diceのパフォーマンスが15種類のクラスで平均53から56.4に向上するSAM-Med3D-MoEの有効性を実証している。
特に脊髄では29.6、8.5、11.2、食道では11.2、右股関節では顕著に上昇する。
さらに、挑戦的なSPPIN2023チャレンジで48.9Diceを達成し、一般専門家のパフォーマンス32.3を大きく上回った。
我々はSAM-Med3D-MoEが医療画像解析の特定の領域に基礎モデルを適用するための新しい枠組みとして機能することを期待している。
コードとデータセットが公開される。
関連論文リスト
- Segment Any Medical Model Extended [39.80956010574076]
我々は,新しいSAMモデルを統合し,より高速な通信プロトコルを採用し,新しいインタラクティブモードに対応し,モデルのサブコンポーネントの微調整を可能にするプラットフォームであるSAMM Extended (SAMME)を紹介した。
これらの機能はSAMのような基礎モデルの可能性を拡大し、画像誘導療法、複合現実インタラクション、ロボットナビゲーション、データ拡張などのアプリケーションに変換することができる。
論文 参考訳（メタデータ） (2024-03-26T21:37:25Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - One Model to Rule them All: Towards Universal Segmentation for Medical Images with Text Prompts [62.55349777609194]
我々は、SATと呼ばれるテキストプロンプトによって駆動される放射線学的スキャンにおいて、任意のセグメンテーションを可能にするモデルを構築することを目指している。
トレーニングのために、最大かつ最も包括的なセグメンテーションデータセットを構築します。
我々はSAT-Nano(110Mパラメータ)とSAT-Pro(447Mパラメータ)をトレーニングし、データセット/サブセット毎にトレーニングされた72の専門家nnU-Netに匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-12-28T18:16:00Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳（メタデータ） (2023-09-16T02:41:53Z) - Cheap Lunch for Medical Image Segmentation by Fine-tuning SAM on Few
Exemplars [19.725817146049707]
Segment Anything Model (SAM) はスケールアップセグメンテーションモデルの顕著な機能を示した。
しかし, 医療領域における基礎モデルの導入は, 十分なデータのラベル付けが困難で費用がかかるため, 課題となっている。
本稿では,限られた数の例を用いてSAMを微調整するための効率的かつ実用的な手法を提案する。
論文 参考訳（メタデータ） (2023-08-27T15:21:25Z) - MedLSAM: Localize and Segment Anything Model for 3D CT Images [14.290321536041816]
3次元医用画像の局所化モデル(MedLAM)を開発した。
MedLAMは、ほんの少しのテンプレートスキャンを使用して、解剖学的構造を直接ローカライズすることができる。
将来の3D SAMモデルとシームレスに統合される可能性がある。
論文 参考訳（メタデータ） (2023-06-26T15:09:02Z) - 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable
Medical Image Segmentation [56.50064853710202]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳（メタデータ） (2023-06-23T12:09:52Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - SAM on Medical Images: A Comprehensive Study on Three Prompt Modes [12.42280534113305]
Segment Anything Model(SAM)が最近デビューし、多くの研究者がゼロショットの一般化能力の観点からその可能性と限界を探究した。
本稿では,SAMが医用画像分割タスクの基礎モデルになる可能性について評価する。
また、異なるモダリティを持つ最高のゼロショットパフォーマンスに、どのようなプロンプトが導くかについても検討する。
論文 参考訳（メタデータ） (2023-04-28T18:18:07Z) - Generalist Vision Foundation Models for Medical Imaging: A Case Study of
Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。
本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
論文 参考訳（メタデータ） (2023-04-25T08:07:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。