論文の概要: SAM-Med3D-MoE: Towards a Non-Forgetting Segment Anything Model via Mixture of Experts for 3D Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2407.04938v1
• Date: Sat, 6 Jul 2024 03:03:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:57:27.483464
• Title: SAM-Med3D-MoE: Towards a Non-Forgetting Segment Anything Model via Mixture of Experts for 3D Medical Image Segmentation
• Title（参考訳）: SAM-Med3D-MoE:3次元医用画像セグメンテーションのためのエキスパートの混合による非予測セグメンテーションモデルに向けて
• Authors: Guoan Wang, Jin Ye, Junlong Cheng, Tianbin Li, Zhaolin Chen, Jianfei Cai, Junjun He, Bohan Zhuang,
• Abstract要約: Supervised Finetuning (SFT) は、タスク固有の下流タスクに基礎モデルを適用する効果的な方法として機能する。 本稿では,タスク固有の微調整モデルと基礎モデルとをシームレスに統合する新しいフレームワークSAM-Med3D-MoEを提案する。 実験では, SAM-Med3D-MoEの有効性を実証し, 平均Dice性能は15種類のクラスで53から56.4に向上した。
• 参考スコア（独自算出の注目度）: 36.95030121663565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Volumetric medical image segmentation is pivotal in enhancing disease diagnosis, treatment planning, and advancing medical research. While existing volumetric foundation models for medical image segmentation, such as SAM-Med3D and SegVol, have shown remarkable performance on general organs and tumors, their ability to segment certain categories in clinical downstream tasks remains limited. Supervised Finetuning (SFT) serves as an effective way to adapt such foundation models for task-specific downstream tasks but at the cost of degrading the general knowledge previously stored in the original foundation model.To address this, we propose SAM-Med3D-MoE, a novel framework that seamlessly integrates task-specific finetuned models with the foundational model, creating a unified model at minimal additional training expense for an extra gating network. This gating network, in conjunction with a selection strategy, allows the unified model to achieve comparable performance of the original models in their respective tasks both general and specialized without updating any parameters of them.Our comprehensive experiments demonstrate the efficacy of SAM-Med3D-MoE, with an average Dice performance increase from 53 to 56.4 on 15 specific classes. It especially gets remarkable gains of 29.6, 8.5, 11.2 on the spinal cord, esophagus, and right hip, respectively. Additionally, it achieves 48.9 Dice on the challenging SPPIN2023 Challenge, significantly surpassing the general expert's performance of 32.3. We anticipate that SAM-Med3D-MoE can serve as a new framework for adapting the foundation model to specific areas in medical image analysis. Codes and datasets will be publicly available.
• Abstract（参考訳）: ボリューム・メディカル・イメージ・セグメンテーションは、疾患の診断、治療計画の強化、医学研究の進展に重要な役割を担っている。 SAM-Med3DやSegVolのような既存の医用画像セグメンテーションのためのボリューム基盤モデルは、一般的な臓器や腫瘍に対して顕著な性能を示してきたが、臨床下流のタスクにおいて特定のカテゴリをセグメント化できる能力は依然として限られている。 そこで本研究では,タスク固有の微調整モデルを基本モデルとシームレスに統合し,追加ゲーティングネットワークのための最小限のトレーニングコストで統一モデルを作成する新しいフレームワークであるSAM-Med3D-MoEを提案する。 このゲーティングネットワークは、選択戦略とともに、各タスクにおける元のモデルと同等の性能を、パラメータを更新することなく、一般と特殊の両方で達成し、我々の総合的な実験では、Diceのパフォーマンスが15種類のクラスで平均53から56.4に向上するSAM-Med3D-MoEの有効性を実証している。 特に脊髄では29.6、8.5、11.2、食道では11.2、右股関節では顕著に上昇する。 さらに、挑戦的なSPPIN2023チャレンジで48.9Diceを達成し、一般専門家のパフォーマンス32.3を大きく上回った。 我々はSAM-Med3D-MoEが医療画像解析の特定の領域に基礎モデルを適用するための新しい枠組みとして機能することを期待している。 コードとデータセットが公開される。

関連論文リスト

• Repurposing Foundation Model for Generalizable Medical Time Series Classification [16.21546283978257]
  FORMEDは、事前訓練されたバックボーンを利用する基礎分類モデルである。 チャネルの数、サンプルの長さ、医療タスクに関係なく、見当たらないMedTSデータセットにシームレスに適応できる。 本結果は,多種多様なMedTS分類タスクに対して,多種多様かつスケーラブルなモデルとして構成され,将来のMedTS解析研究の基盤モデルとして位置づけられる。
  論文  参考訳（メタデータ） (2024-10-03T23:50:04Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images [35.83393121891959]
  ボリューム医療画像の汎用セグメンテーションのためのSAM-Med3Dを提案する。 SAM-Med3Dは様々な解剖学的構造と病変を正確に分類することができる。 提案手法は,医療資源を多用した汎用医療AIの開発に活用できることを実証するものである。
  論文  参考訳（メタデータ） (2023-10-23T17:57:36Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• Cheap Lunch for Medical Image Segmentation by Fine-tuning SAM on Few Exemplars [19.725817146049707]
  Segment Anything Model (SAM) はスケールアップセグメンテーションモデルの顕著な機能を示した。 しかし, 医療領域における基礎モデルの導入は, 十分なデータのラベル付けが困難で費用がかかるため, 課題となっている。 本稿では,限られた数の例を用いてSAMを微調整するための効率的かつ実用的な手法を提案する。
  論文  参考訳（メタデータ） (2023-08-27T15:21:25Z)
• 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
  医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。 本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
  論文  参考訳（メタデータ） (2023-06-23T12:09:52Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• SAM on Medical Images: A Comprehensive Study on Three Prompt Modes [12.42280534113305]
  Segment Anything Model(SAM)が最近デビューし、多くの研究者がゼロショットの一般化能力の観点からその可能性と限界を探究した。 本稿では,SAMが医用画像分割タスクの基礎モデルになる可能性について評価する。 また、異なるモダリティを持つ最高のゼロショットパフォーマンスに、どのようなプロンプトが導くかについても検討する。
  論文  参考訳（メタデータ） (2023-04-28T18:18:07Z)
• Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
  9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。 本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
  論文  参考訳（メタデータ） (2023-04-25T08:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。