論文の概要: MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2403.20253v1
- Date: Fri, 29 Mar 2024 15:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:14:57.428051
- Title: MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation
- Title(参考訳): MedCLIP-SAM:Universal Medical Image Segmentationに向けたテキストと画像のブリッジ
- Authors: Taha Koleilat, Hojat Asgariandehkordi, Hassan Rivaz, Yiming Xiao,
- Abstract要約: 本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。
3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
- 参考スコア(独自算出の注目度): 2.2585213273821716
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Medical image segmentation of anatomical structures and pathology is crucial in modern clinical diagnosis, disease study, and treatment planning. To date, great progress has been made in deep learning-based segmentation techniques, but most methods still lack data efficiency, generalizability, and interactability. Consequently, the development of new, precise segmentation methods that demand fewer labeled datasets is of utmost importance in medical image analysis. Recently, the emergence of foundation models, such as CLIP and Segment-Anything-Model (SAM), with comprehensive cross-domain representation opened the door for interactive and universal image segmentation. However, exploration of these models for data-efficient medical image segmentation is still limited, but is highly necessary. In this paper, we propose a novel framework, called MedCLIP-SAM that combines CLIP and SAM models to generate segmentation of clinical scans using text prompts in both zero-shot and weakly supervised settings. To achieve this, we employed a new Decoupled Hard Negative Noise Contrastive Estimation (DHN-NCE) loss to fine-tune the BiomedCLIP model and the recent gScoreCAM to generate prompts to obtain segmentation masks from SAM in a zero-shot setting. Additionally, we explored the use of zero-shot segmentation labels in a weakly supervised paradigm to improve the segmentation quality further. By extensively testing three diverse segmentation tasks and medical image modalities (breast tumor ultrasound, brain tumor MRI, and lung X-ray), our proposed framework has demonstrated excellent accuracy.
- Abstract(参考訳): 解剖学的構造と病理の医学的イメージセグメンテーションは、現代の臨床診断、疾患研究、治療計画において重要である。
これまで、ディープラーニングベースのセグメンテーション技術は大きな進歩を遂げてきたが、ほとんどの手法はデータ効率、一般化可能性、相互作用性に欠けていた。
したがって、ラベル付きデータセットの少ない新しい正確なセグメンテーション手法の開発は、医療画像解析において非常に重要である。
近年、CLIPやSAM(Segment-Anything-Model)などの基盤モデルが出現し、包括的なクロスドメイン表現が登場し、インタラクティブで普遍的なイメージセグメンテーションの扉が開かれた。
しかし、これらのデータ効率の良い医用画像分割のためのモデル探索は依然として限られているが、非常に必要である。
本稿では,CLIPモデルとSAMモデルを組み合わせて,ゼロショットと弱教師付き設定の両方でテキストプロンプトを用いて臨床スキャンのセグメンテーションを生成する,MedCLIP-SAMという新しいフレームワークを提案する。
そこで我々は,BiomedCLIPモデルと最新のgScoreCAMを微調整するためにDHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)を新たに導入し,ゼロショット設定でSAMからセグメンテーションマスクを得るプロンプトを生成する。
さらに,ゼロショットセグメンテーションラベルを弱教師付きパラダイムで使用して,セグメンテーションの品質をさらに向上する方法について検討した。
胸部超音波検査,脳腫瘍MRI検査,肺X線検査の3つのタスクと医用画像モダリティを広範囲にテストすることにより,提案手法の精度が向上した。
関連論文リスト
- Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic
Segmentation [49.916468280857885]
Mask-Enhanced SAM (M-SAM) は3次元腫瘍病変の分節に適した革新的なアーキテクチャである。
本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。
論文 参考訳(メタデータ) (2024-03-09T13:37:02Z) - I-MedSAM: Implicit Medical Image Segmentation with Segment Anything [25.479086547001177]
I-MedSAMは、連続表現とSegment Anything Model(SAM)の両方の利点を利用して、ドメイン横断能力と正確な境界線を求める。
Inlicit Neural Representation (INR) の効率的な学習のための不確実性誘導型サンプリング戦略を提案する。
トレーニング可能なパラメータが1.6Mしかない提案手法は、離散的および連続的な手法を含む既存の手法よりも優れている。
論文 参考訳(メタデータ) (2023-11-28T00:43:52Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - CARE: A Large Scale CT Image Dataset and Clinical Applicable Benchmark
Model for Rectal Cancer Segmentation [8.728236864462302]
CT画像の直腸癌セグメンテーションは、タイムリーな臨床診断、放射線治療、経過観察において重要な役割を担っている。
これらの障害は直腸の複雑な解剖学的構造と直腸癌の鑑別診断の困難から生じる。
これらの課題に対処するため,本研究では,正常直腸と癌直腸の両方にピクセルレベルのアノテーションを付加した,新しい大規模直腸癌CT画像データセットCAREを導入する。
また,U-SAMと命名された新しい癌病変セグメンテーションベンチマークモデルを提案する。
このモデルは、迅速な情報を取り入れることで、腹部器官の複雑な解剖学的構造によって引き起こされる課題に対処するように設計されている。
論文 参考訳(メタデータ) (2023-08-16T10:51:27Z) - 3DSAM-adapter: Holistic Adaptation of SAM from 2D to 3D for Promptable
Medical Image Segmentation [56.50064853710202]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - Zero-shot performance of the Segment Anything Model (SAM) in 2D medical
imaging: A comprehensive evaluation and practical guidelines [0.13854111346209866]
Segment Anything Model (SAM)は、大規模なトレーニングデータセットを使用して、ほぼすべてのオブジェクトをセグメント化する。
この結果から,SAMのゼロショット性能は,現在の最先端技術に匹敵するものであることが判明した。
我々は、一貫して堅牢な結果をもたらしながら、最小限の相互作用を必要とする実践的ガイドラインを提案する。
論文 参考訳(メタデータ) (2023-04-28T22:07:24Z) - Generalist Vision Foundation Models for Medical Imaging: A Case Study of
Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。
本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
論文 参考訳(メタデータ) (2023-04-25T08:07:59Z) - Reliable Joint Segmentation of Retinal Edema Lesions in OCT Images [55.83984261827332]
本稿では,信頼性の高いマルチスケールウェーブレットエンハンストランスネットワークを提案する。
本研究では,ウェーブレット型特徴抽出器ネットワークとマルチスケール変圧器モジュールを統合したセグメンテーションバックボーンを開発した。
提案手法は,他の最先端セグメンテーション手法と比較して信頼性の高いセグメンテーション精度を実現する。
論文 参考訳(メタデータ) (2022-12-01T07:32:56Z) - Analysing the effectiveness of a generative model for semi-supervised
medical image segmentation [23.898954721893855]
自動セグメンテーションにおける最先端技術は、U-Netのような差別モデルを用いて、教師付き学習のままである。
半教師付き学習(SSL)は、より堅牢で信頼性の高いモデルを得るために、重複のないデータの豊富さを活用する。
セマンティックGANのような深層生成モデルは、医療画像分割問題に取り組むための真に実行可能な代替手段である。
論文 参考訳(メタデータ) (2022-11-03T15:19:59Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Co-Heterogeneous and Adaptive Segmentation from Multi-Source and
Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion
Segmentation [48.504790189796836]
我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。
本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。
CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
論文 参考訳(メタデータ) (2020-05-27T06:58:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。