論文の概要: Diffusion-empowered AutoPrompt MedSAM
- arxiv url: http://arxiv.org/abs/2502.06817v1
- Date: Wed, 05 Feb 2025 03:08:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:05:49.950294
- Title: Diffusion-empowered AutoPrompt MedSAM
- Title（参考訳）: 拡散駆動型オートプロンプトメドSAM
- Authors: Peng Huang, Shu Hu, Bo Peng, Jiashu Zhang, Hongtu Zhu, Xi Wu, Xin Wang,
- Abstract要約: 本稿では,ユーザビリティとセグメンテーション性能を向上させるために,SAMから派生したエンドツーエンドフレームワークであるAutoMedSAMを提案する。
AutoMedSAMは、新しい拡散ベースのクラスプロンプトエンコーダを導入しながら、MedSAMのイメージエンコーダとマスクデコーダ構造を維持している。
我々は,AutoMedSAMが臨床および非専門ユーザの両方に適用性を高めつつ,優れた性能を発揮することを示す。
- 参考スコア（独自算出の注目度）: 23.450625203821716
- License:
- Abstract: MedSAM, a medical foundation model derived from the SAM architecture, has demonstrated notable success across diverse medical domains. However, its clinical application faces two major challenges: the dependency on labor-intensive manual prompt generation, which imposes a significant burden on clinicians, and the absence of semantic labeling in the generated segmentation masks for organs or lesions, limiting its practicality for non-expert users. To address these limitations, we propose AutoMedSAM, an end-to-end framework derived from SAM, designed to enhance usability and segmentation performance. AutoMedSAM retains MedSAM's image encoder and mask decoder structure while introducing a novel diffusion-based class prompt encoder. The diffusion-based encoder employs a dual-decoder structure to collaboratively generate prompt embeddings guided by sparse and dense prompt definitions. These embeddings enhance the model's ability to understand and process clinical imagery autonomously. With this encoder, AutoMedSAM leverages class prompts to embed semantic information into the model's predictions, transforming MedSAM's semi-automated pipeline into a fully automated workflow. Furthermore, AutoMedSAM employs an uncertainty-aware joint optimization strategy during training to effectively inherit MedSAM's pre-trained knowledge while improving generalization by integrating multiple loss functions. Experimental results across diverse datasets demonstrate that AutoMedSAM achieves superior performance while broadening its applicability to both clinical settings and non-expert users. Code is available at https://github.com/HP-ML/AutoPromptMedSAM.git.
- Abstract（参考訳）: SAMアーキテクチャから派生した医療基盤モデルであるMedSAMは、様々な医療領域で顕著な成功を収めている。
しかし、その臨床応用は2つの大きな課題に直面している: 労働集約的な手動プロンプト生成への依存は、臨床医に重大な負担を課し、また、臓器や病変のために生成されたセグメンテーションマスクにセグメンテーションラベリングが欠如しており、その実用性は非専門家に限られている。
これらの制約に対処するため,ユーザビリティとセグメンテーション性能を向上させるために,SAMから派生したエンドツーエンドフレームワークであるAutoMedSAMを提案する。
AutoMedSAMは、新しい拡散ベースのクラスプロンプトエンコーダを導入しながら、MedSAMのイメージエンコーダとマスクデコーダ構造を維持している。
拡散に基づくエンコーダは二重デコーダ構造を用いて、疎密かつ密なプロンプト定義によって導かれるプロンプト埋め込みを協調的に生成する。
これらの埋め込みは、臨床的イメージを自律的に理解し、処理するモデルの能力を高める。
このエンコーダでAutoMedSAMは、セマンティック情報をモデルの予測に組み込むためのクラスプロンプトを活用し、MedSAMの半自動パイプラインを完全に自動化されたワークフローに変換する。
さらに、AutoMedSAMはトレーニング中に不確実性を考慮した共同最適化戦略を採用し、MedSAMの事前学習知識を効果的に継承すると同時に、複数の損失関数を統合することで一般化を改善する。
さまざまなデータセットにわたる実験結果から、AutoMedSAMは、臨床設定と非専門家ユーザの両方に適用性を広げながら、優れたパフォーマンスを達成することが示された。
コードはhttps://github.com/HP-ML/AutoPromptMedSAM.gitで入手できる。
関連論文リスト
- CoSAM: Self-Correcting SAM for Domain Generalization in 2D Medical Image Segmentation [11.567414253208991]
自己補正SAM(CoSAM)と呼ばれる2次元医用画像分割法を提案する。
提案手法は,SAMを用いて粗いマスクをプロンプトフリーで生成することから始まり,その後の段階の事前プロンプトを提供する。
修正マスクに基づくフィードバックとして多様なプロンプトを生成し、予測を反復的に洗練する。
論文 参考訳（メタデータ） (2024-11-15T12:20:52Z) - MedSAM-U: Uncertainty-Guided Auto Multi-Prompt Adaptation for Reliable MedSAM [37.63029776390275]
医用画像セグメンテーションのためのマルチプロンプト入力を自動的に洗練する不確実性誘導フレームワークであるMedSAM-Uを紹介する。
我々は、プロンプトと初期セグメンテーション結果に関連する不確実性を効果的に推定するために、不確実性誘導型マルチプロンプトを用いる。
MedSAMと比較して、5つの異なるモーダルデータセットの実験結果は、提案されたMedSAM-Uが平均的なパフォーマンス改善を1.7%から20.5%に達成していることを示している。
論文 参考訳（メタデータ） (2024-09-02T03:40:07Z) - ESP-MedSAM: Efficient Self-Prompting SAM for Universal Domain-Generalized Medical Image Segmentation [18.388979166848962]
Segment Anything Model (SAM)は両方の設定でその可能性を実証している。
ESP-MedSAM という汎用的な領域一般化医療画像分割のための効率的なセルフプロンプトSAM を提案する。
ESP-MedSAMは様々な医用画像のセグメンテーションタスクにおいて最先端の成果を上げている。
論文 参考訳（メタデータ） (2024-07-19T09:32:30Z) - ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。
SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。
CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
論文 参考訳（メタデータ） (2024-06-30T14:55:32Z) - Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。
我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。
医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
論文 参考訳（メタデータ） (2024-06-03T03:16:25Z) - Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。
初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。
我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
論文 参考訳（メタデータ） (2024-03-27T05:55:16Z) - SAMCT: Segment Any CT Allowing Labor-Free Task-Indicator Prompts [28.171383990186904]
我々は、公開データセットから1.1MのCT画像と5Mのマスクからなる大規模なCTデータセットを構築した。
我々は、労働自由なプロンプトを可能にする強力な基盤モデルSAMCTを提案する。
SAMに基づいてSAMCTはさらに、CNNイメージエンコーダ、クロスブランチインタラクションモジュール、タスクインディケータプロンプトエンコーダを備えている。
論文 参考訳（メタデータ） (2024-03-20T02:39:15Z) - UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images [47.59627416801523]
デジタル病理学において、正確な核分割は、組織の種類、染色プロトコル、イメージング条件の多様性によって、重要な課題である。
我々はUniversal prompt-free SAM framework for Nuclei segmentation (UN-SAM)を提案する。
例外的な性能を持つUN-SAMは、核インスタンスやセマンティックセグメンテーションの最先端、特にゼロショットシナリオにおける一般化能力を上回っている。
論文 参考訳（メタデータ） (2024-02-26T15:35:18Z) - SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation [66.21356751558011]
Segment Anything Model (SAM)は、ジェネリックオブジェクトセグメンテーションの約束を示し、様々なアプリケーションに可能性を提供します。
既存の方法では、SAMベースのフレームワークを手術データにチューニングすることで、手術器具セグメンテーション(SIS)にSAMを適用している。
本稿では,楽器構造知識をSAMの汎用知識と明確に統合する新しいSAM効率的なチューニング手法であるStuial Part-SAMを提案する。
論文 参考訳（メタデータ） (2023-12-22T07:17:51Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳（メタデータ） (2023-08-17T02:51:01Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳（メタデータ） (2023-06-10T07:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。