論文の概要: Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image
Segmentation
- arxiv url: http://arxiv.org/abs/2310.02381v1
- Date: Tue, 3 Oct 2023 19:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:50:18.198653
- Title: Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image
Segmentation
- Title(参考訳): 医用画像分割のための基礎モデルのマルチプロンプト微調整
- Authors: Xiangru Li, Yifei Zhang, Liang Zhao
- Abstract要約: Segment Anything Model (SAM) は、自然画像セグメンテーションの革命的進歩を導入した強力な基礎モデルである。
本研究では,SAMのイメージ毎に複数のプロンプトをバンドルして処理する機能を活用した,新しい微調整フレームワークを提案する。
- 参考スコア(独自算出の注目度): 10.946806607643689
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The Segment Anything Model (SAM) is a powerful foundation model that
introduced revolutionary advancements in natural image segmentation. However,
its performance remains sub-optimal when delineating the intricate structure of
biomedical images, where multiple organs and tissues intertwine in a single
image. In this study, we introduce a novel fine-tuning framework that leverages
SAM's ability to bundle and process multiple prompts per image and seeks to
improve SAM's performance in medical images. We first curated a medical image
dataset that consists of CT scans of lesions in various organs, each with two
annotations for organs and lesions respectively. Then, we fine-tuned SAM's mask
decoder within our framework by batching both bounding boxes generated from
ground truth masks as reference. The batched prompt strategy we introduced not
only addresses the inherent complexity and ambiguity often found in medical
images but also substantially enhances performance metrics when applied onto a
wide range of segmentation tasks.
- Abstract(参考訳): Segment Anything Model (SAM) は、自然画像セグメンテーションの革命的進歩を導入した強力な基礎モデルである。
しかし、複数の臓器や組織が1つの画像に介在する生体画像の複雑な構造を規定する場合、その性能は依然として準最適である。
本研究では,SAMが画像毎に複数のプロンプトを束ね,処理する能力を活用し,SAMの性能向上を目指す,新しい微調整フレームワークを提案する。
まず,各臓器の病変をCTでスキャンし,それぞれに臓器と病変のアノテーションを2つ設けた医用画像データセットを作成した。
次に,地中真理マスクから生成された両方の境界ボックスを基準としてバッチ化することにより,SAMのマスクデコーダをフレームワーク内で微調整する。
私たちが導入したバッチプロンプト戦略は、医療画像に見られる固有の複雑さと曖昧さに対処するだけでなく、幅広いセグメンテーションタスクに適用される場合のパフォーマンスメトリクスを大幅に向上させるものです。
関連論文リスト
- Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic
Segmentation [49.916468280857885]
Mask-Enhanced SAM (M-SAM) は3次元腫瘍病変の分節に適した革新的なアーキテクチャである。
本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。
論文 参考訳(メタデータ) (2024-03-09T13:37:02Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - SAM-Med2D [34.82072231983896]
我々はSAM-Med2Dを医療用2次元画像に適用する最も包括的な研究である。
まず、公開およびプライベートデータセットから約4.6Mの画像と19.7Mマスクを収集し、キュレートします。
元のSAMのエンコーダとデコーダを微調整して、良好な性能のSAM-Med2Dを得る。
論文 参考訳(メタデータ) (2023-08-30T17:59:02Z) - Auto-Prompting SAM for Mobile Friendly 3D Medical Image Segmentation [11.70892315284039]
Segment Anything Model (SAM)は、幅広い自然画像のセグメンテーションに急速に採用されている。
近年の研究では、SAMは3次元医用画像分割作業においてサブパーパフォーマンスを示すことが示されている。
本稿では,3次元多臓器CTを用いたセグメンテーションのための新しい手法AutoSAM Adapterを提案する。
論文 参考訳(メタデータ) (2023-08-28T23:23:53Z) - 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable
Medical Image Segmentation [56.50064853710202]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - Towards Segment Anything Model (SAM) for Medical Image Segmentation: A
Survey [8.76496233192512]
本稿では,セグメンテーションモデルの成功を医療画像のセグメンテーションタスクに拡張する取り組みについて論じる。
医用画像解析の基礎モデルを開発するために、将来の研究を導くために多くの洞察が導かれる。
論文 参考訳(メタデータ) (2023-05-05T16:48:45Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z) - SAM.MD: Zero-shot medical image segmentation capabilities of the Segment
Anything Model [1.1221592576472588]
医用画像のセグメンテーションにおけるセグメンテーションモデル(Segment Anything Model)のゼロショット機能の評価を行った。
SAMはCTデータによく対応し,半自動セグメンテーションツールの進歩の触媒となる可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-10T18:20:29Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳(メタデータ) (2021-10-15T13:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。