論文の概要: SAM2-SGP: Enhancing SAM2 for Medical Image Segmentation via Support-Set Guided Prompting
- arxiv url: http://arxiv.org/abs/2506.19658v1
- Date: Tue, 24 Jun 2025 14:22:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-25 19:48:23.671217
- Title: SAM2-SGP: Enhancing SAM2 for Medical Image Segmentation via Support-Set Guided Prompting
- Title(参考訳): SAM2-SGP:支援セット型プロンプティングによる医療画像セグメンテーションのためのSAM2の強化
- Authors: Yang Xing, Jiong Wu, Yuheng Bu, Kuang Gong,
- Abstract要約: 人為的なプロンプトへの依存は、SAM2を医療画像のセグメンテーションタスクに適応させる上で大きな課題となる。
我々は,手動プロンプトの必要性を解消するフレームワークであるSAM2-SGP(サポートセット誘導プロンプト)を用いたSAM2を提案する。
提案モデルはSAM2のメモリ機構を活用し,Pseudo-mask Generation (PMG)モジュールを用いたサポートセットからイメージマスクペアを用いて擬似マスクを生成する。
- 参考スコア(独自算出の注目度): 11.439997127887324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although new vision foundation models such as Segment Anything Model 2 (SAM2) have significantly enhanced zero-shot image segmentation capabilities, reliance on human-provided prompts poses significant challenges in adapting SAM2 to medical image segmentation tasks. Moreover, SAM2's performance in medical image segmentation was limited by the domain shift issue, since it was originally trained on natural images and videos. To address these challenges, we proposed SAM2 with support-set guided prompting (SAM2-SGP), a framework that eliminated the need for manual prompts. The proposed model leveraged the memory mechanism of SAM2 to generate pseudo-masks using image-mask pairs from a support set via a Pseudo-mask Generation (PMG) module. We further introduced a novel Pseudo-mask Attention (PMA) module, which used these pseudo-masks to automatically generate bounding boxes and enhance localized feature extraction by guiding attention to relevant areas. Furthermore, a low-rank adaptation (LoRA) strategy was adopted to mitigate the domain shift issue. The proposed framework was evaluated on both 2D and 3D datasets across multiple medical imaging modalities, including fundus photography, X-ray, computed tomography (CT), magnetic resonance imaging (MRI), positron emission tomography (PET), and ultrasound. The results demonstrated a significant performance improvement over state-of-the-art models, such as nnUNet and SwinUNet, as well as foundation models, such as SAM2 and MedSAM2, underscoring the effectiveness of the proposed approach. Our code is publicly available at https://github.com/astlian9/SAM_Support.
- Abstract(参考訳): Segment Anything Model 2 (SAM2) のような新しいビジョン基盤モデルはゼロショット画像のセグメンテーション能力を大幅に向上させたが、人為的なプロンプトへの依存はSAM2を医療画像セグメンテーションタスクに適用する上で大きな課題となっている。
さらに、SAM2の医用画像セグメンテーションのパフォーマンスは、元々は自然画像やビデオで訓練されていたため、ドメインシフトの問題によって制限された。
これらの課題に対処するため,手動プロンプトの必要性を排除したSAM2-SGP(サポートセット誘導プロンプト)を提案する。
提案モデルはSAM2のメモリ機構を活用し,Pseudo-mask Generation (PMG)モジュールを用いたサポートセットからイメージマスクペアを用いて擬似マスクを生成する。
さらに,Pseudo-mask Attention (PMA)モジュールを導入し,これらの擬似マスクを用いてバウンディングボックスを自動的に生成し,関連する領域に注意を向けることで局所的特徴抽出を強化する。
さらに、ドメインシフト問題を緩和するためにローランク適応(LoRA)戦略が採用された。
提案手法は, 基礎撮影, X線, CT, MRI, ポジトロン放射断層撮影 (PET) , 超音波など, 様々な医用画像の2次元および3次元データセットを用いて評価した。
その結果、nnUNetやSwinUNetといった最先端モデルやSAM2やMedSAM2といった基礎モデルよりも大幅に性能が向上し、提案手法の有効性が示された。
私たちのコードはhttps://github.com/astlian9/SAM_Support.comで公開されています。
関連論文リスト
- Accelerating Volumetric Medical Image Annotation via Short-Long Memory SAM 2 [10.279314732888079]
ショートロングメモリSAM 2 (SLM-SAM 2) は、セグメント化精度を向上させるために、異なる短期記憶バンクと長期記憶バンクを統合する新しいアーキテクチャである。
臓器, 骨, 筋肉の3つの公開データセットからSLM-SAM 2をMRIおよびCTで評価した。
論文 参考訳(メタデータ) (2025-05-03T16:16:24Z) - SAM-I2I: Unleash the Power of Segment Anything Model for Medical Image Translation [0.9626666671366836]
SAM-I2Iは,Segment Anything Model 2 (SAM2) に基づく新しい画像から画像への変換フレームワークである。
マルチコントラストMRIデータセットを用いた実験により、SAM-I2Iは最先端の手法より優れており、より効率的かつ正確な医用画像翻訳を提供することが示された。
論文 参考訳(メタデータ) (2024-11-13T03:30:10Z) - SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-16T17:55:38Z) - Path-SAM2: Transfer SAM2 for digital pathology semantic segmentation [6.721564277355789]
Path-SAM2はSAM2モデルに初めて適応し,病的セマンティックセグメンテーションの課題に適応する。
病理組織学における最大の事前学習型視覚エンコーダ(UNI)とオリジナルのSAM2エンコーダを統合し,病理学に基づく事前知識を付加する。
3つの腺腫の病理データセットにおいて、Path-SAM2は最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2024-08-07T09:30:51Z) - Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。
初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。
我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
論文 参考訳(メタデータ) (2024-03-27T05:55:16Z) - Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image
Segmentation [10.946806607643689]
Segment Anything Model (SAM) は、自然画像セグメンテーションの革命的進歩を導入した強力な基礎モデルである。
本研究では,SAMのイメージ毎に複数のプロンプトをバンドルして処理する機能を活用した,新しい微調整フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-03T19:05:00Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。