論文の概要: MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2409.19483v3
• Date: Mon, 18 Nov 2024 01:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:31:03.960941
• Title: MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation
• Title（参考訳）: MedCLIP-SAMv2:Universal Text-Driven Medical Image Segmentationを目指して
• Authors: Taha Koleilat, Hojat Asgariandehkordi, Hassan Rivaz, Yiming Xiao,
• Abstract要約: MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。 提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
• 参考スコア（独自算出の注目度）: 2.2585213273821716
• License:
• Abstract: Segmentation of anatomical structures and pathological regions in medical images is essential for modern clinical diagnosis, disease research, and treatment planning. While significant advancements have been made in deep learning-based segmentation techniques, many of these methods still suffer from limitations in data efficiency, generalizability, and interactivity. As a result, developing precise segmentation methods that require fewer labeled datasets remains a critical challenge in medical image analysis. Recently, the introduction of foundation models like CLIP and Segment-Anything-Model (SAM), with robust cross-domain representations, has paved the way for interactive and universal image segmentation. However, further exploration of these models for data-efficient segmentation in medical imaging is still needed and highly relevant. In this paper, we introduce MedCLIP-SAMv2, a novel framework that integrates the CLIP and SAM models to perform segmentation on clinical scans using text prompts, in both zero-shot and weakly supervised settings. Our approach includes fine-tuning the BiomedCLIP model with a new Decoupled Hard Negative Noise Contrastive Estimation (DHN-NCE) loss, and leveraging the Multi-modal Information Bottleneck (M2IB) to create visual prompts for generating segmentation masks from SAM in the zero-shot setting. We also investigate using zero-shot segmentation labels within a weakly supervised paradigm to enhance segmentation quality further. Extensive testing across four diverse segmentation tasks and medical imaging modalities (breast tumor ultrasound, brain tumor MRI, lung X-ray, and lung CT) demonstrates the high accuracy of our proposed framework. Our code is available at https://github.com/HealthX-Lab/MedCLIP-SAMv2.
• Abstract（参考訳）: 医学画像における解剖学的構造と病理領域の分離は, 近代臨床診断, 疾患研究, 治療計画に不可欠である。 深層学習に基づくセグメンテーション技術は大きな進歩を遂げているが、これらの手法の多くはデータ効率、一般化可能性、相互作用性の限界に悩まされている。 その結果、ラベル付きデータセットの少ない正確なセグメンテーション手法の開発は、医用画像解析において重要な課題である。 近年CLIPやSAM(Segment-Anything-Model)のような基盤モデルが登場し、堅牢なクロスドメイン表現が登場し、インタラクティブで普遍的なイメージセグメンテーションの道が開かれた。 しかし、医療画像におけるデータ効率のセグメンテーションのためのこれらのモデルのさらなる探索は依然として必要であり、非常に関連性が高い。 本稿では,CLIPモデルとSAMモデルを統合する新しいフレームワークであるMedCLIP-SAMv2を紹介し,テキストプロンプトを用いて臨床スキャンのセグメンテーションを行う。 提案手法では,新たにDHN-NCEの損失を除いたBiomedCLIPモデルを微調整し,M2IB(Multi-modal Information Bottleneck)を利用して,SAMからのセグメンテーションマスクをゼロショットで生成するための視覚的プロンプトを作成する。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。 脳腫瘍, 腫瘍MRI, 肺X線, 肺CTの4つの領域にまたがる広範囲な検査が, 提案手法の精度を実証している。 私たちのコードはhttps://github.com/HealthX-Lab/MedCLIP-SAMv2で公開されています。

関連論文リスト

• Retrieval-augmented Few-shot Medical Image Segmentation with Foundation Models [17.461510586128874]
  本稿では,DINOv2 と Segment Anything Model 2 を併用して,画像の検索を行う手法を提案する。 我々のアプローチでは、DINOv2の機能をクエリとして使用し、制限付きアノテートデータから類似したサンプルを検索し、それをメモリバンクにエンコードする。
  論文  参考訳（メタデータ） (2024-08-16T15:48:07Z)
• MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
  本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。 3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
  論文  参考訳（メタデータ） (2024-03-29T15:59:11Z)
• Mask-Enhanced Segment Anything Model for Tumor Lesion Semantic Segmentation [48.107348956719775]
  Mask-Enhanced SAM (M-SAM) は, 腫瘍の3次元セグメント化に適した革新的なアーキテクチャである。 本稿では,M-SAM内におけるMask-Enhanced Adapter (MEA) を提案する。 我々のM-SAMは高いセグメンテーション精度を達成し、またロバストな一般化を示す。
  論文  参考訳（メタデータ） (2024-03-09T13:37:02Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• I-MedSAM: Implicit Medical Image Segmentation with Segment Anything [24.04558900909617]
  提案するI-MedSAMは、連続表現とSAMの両方の利点を利用して、クロスドメイン能力と正確な境界線を求める。 トレーニング可能なパラメータが1.6Mしかない提案手法は、離散的および暗黙的を含む既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-28T00:43:52Z)
• Zero-shot performance of the Segment Anything Model (SAM) in 2D medical imaging: A comprehensive evaluation and practical guidelines [0.13854111346209866]
  Segment Anything Model (SAM)は、大規模なトレーニングデータセットを使用して、ほぼすべてのオブジェクトをセグメント化する。 この結果から,SAMのゼロショット性能は,現在の最先端技術に匹敵するものであることが判明した。 我々は、一貫して堅牢な結果をもたらしながら、最小限の相互作用を必要とする実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-04-28T22:07:24Z)
• Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
  9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。 本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
  論文  参考訳（メタデータ） (2023-04-25T08:07:59Z)
• Reliable Joint Segmentation of Retinal Edema Lesions in OCT Images [55.83984261827332]
  本稿では,信頼性の高いマルチスケールウェーブレットエンハンストランスネットワークを提案する。 本研究では,ウェーブレット型特徴抽出器ネットワークとマルチスケール変圧器モジュールを統合したセグメンテーションバックボーンを開発した。 提案手法は,他の最先端セグメンテーション手法と比較して信頼性の高いセグメンテーション精度を実現する。
  論文  参考訳（メタデータ） (2022-12-01T07:32:56Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)
• Robust Medical Instrument Segmentation Challenge 2019 [56.148440125599905]
  腹腔鏡装置の術中追跡は、しばしばコンピュータとロボットによる介入の必要条件である。 本研究の課題は,30の手術症例から取得した10,040枚の注釈画像からなる外科的データセットに基づいていた。 結果は、初期仮説、すなわち、アルゴリズムの性能がドメインギャップの増大とともに低下することを確認する。
  論文  参考訳（メタデータ） (2020-03-23T14:35:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。