論文の概要: SAM2CLIP2SAM: Vision Language Model for Segmentation of 3D CT Scans for Covid-19 Detection
- arxiv url: http://arxiv.org/abs/2407.15728v1
- Date: Mon, 22 Jul 2024 15:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 14:20:51.546253
- Title: SAM2CLIP2SAM: Vision Language Model for Segmentation of 3D CT Scans for Covid-19 Detection
- Title(参考訳): SAM2CLIP2SAM:Covid-19検出のための3次元CTスキャンのセグメンテーションのための視覚言語モデル
- Authors: Dimitrios Kollias, Anastasios Arsenos, James Wingate, Stefanos Kollias,
- Abstract要約: 本稿では,任意のモデルや手法に統合可能な画像の効果的セグメンテーションのための新しいアプローチを提案する。
私たちのアプローチには、CTスキャンをセグメント化する視覚言語モデルの組み合わせが含まれています。
提案手法をCTスキャンのセグメンテーションに用いた場合の性能向上を示す2つのCovid-19アノテートデータベースに対して実験を行った。
- 参考スコア(独自算出の注目度): 16.1664846590467
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents a new approach for effective segmentation of images that can be integrated into any model and methodology; the paradigm that we choose is classification of medical images (3-D chest CT scans) for Covid-19 detection. Our approach includes a combination of vision-language models that segment the CT scans, which are then fed to a deep neural architecture, named RACNet, for Covid-19 detection. In particular, a novel framework, named SAM2CLIP2SAM, is introduced for segmentation that leverages the strengths of both Segment Anything Model (SAM) and Contrastive Language-Image Pre-Training (CLIP) to accurately segment the right and left lungs in CT scans, subsequently feeding these segmented outputs into RACNet for classification of COVID-19 and non-COVID-19 cases. At first, SAM produces multiple part-based segmentation masks for each slice in the CT scan; then CLIP selects only the masks that are associated with the regions of interest (ROIs), i.e., the right and left lungs; finally SAM is given these ROIs as prompts and generates the final segmentation mask for the lungs. Experiments are presented across two Covid-19 annotated databases which illustrate the improved performance obtained when our method has been used for segmentation of the CT scans.
- Abstract(参考訳): 本稿では,任意のモデルや手法に組み込むことのできる画像の効果的セグメンテーションのための新しいアプローチを提案する。
私たちのアプローチには、CTスキャンをセグメント化する視覚言語モデルの組み合わせが含まれています。
特に、SAM2CLIP2SAMと呼ばれる新しいフレームワークは、Segment Anything Model(SAM)とContrastive Language- Image Pre-Training(CLIP)の両方の長所を利用して、CTスキャンで左右の肺を正確にセグメンテーションし、これらのセグメンテーションされた出力をRACNetに供給して、COVID-19や非COVID-19の症例を分類する。
SAMは最初、CTスキャンの各スライスごとに複数の部分ベースのセグメンテーションマスクを生成し、CLIPは関心領域(ROI)、すなわち左右の肺に関連付けられたマスクのみを選択し、最後にSAMはこれらのROIをプロンプトとして与えられ、肺の最終セグメンテーションマスクを生成する。
提案手法をCTスキャンのセグメンテーションに用いた場合の性能向上を示す2つのCovid-19アノテートデータベースに対して実験を行った。
関連論文リスト
- K-SAM: A Prompting Method Using Pretrained U-Net to Improve Zero Shot Performance of SAM on Lung Segmentation in CXR Images [0.0]
肺領域分割作業におけるSAMのゼロショット性能を自動的プロンプト選択により向上させるアルゴリズムを提案する。
提案手法は,事前学習したモデルを用いて迅速な選択を行うことで,SAMの印象的な一般化能力を最大限に活用できることを示唆する。
論文 参考訳(メタデータ) (2024-10-09T12:37:12Z) - MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。
提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。
また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
論文 参考訳(メタデータ) (2024-09-28T23:10:37Z) - TotalSegmentator MRI: Sequence-Independent Segmentation of 59 Anatomical Structures in MR images [62.53931644063323]
本研究では,TotalSegmentatorをMR画像に拡張した。
このデータセットに基づいてnnU-Netセグメンテーションアルゴリズムを訓練し、類似度係数(Dice)を計算し、モデルの性能を評価した。
このモデルは、他の2つの公開セグメンテーションモデル(Dice score 0.824 vs 0.762; p0.001 and 0.762 versus 0.542; p)を大きく上回った。
論文 参考訳(メタデータ) (2024-05-29T20:15:54Z) - MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。
3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
論文 参考訳(メタデータ) (2024-03-29T15:59:11Z) - I-MedSAM: Implicit Medical Image Segmentation with Segment Anything [24.04558900909617]
提案するI-MedSAMは、連続表現とSAMの両方の利点を利用して、クロスドメイン能力と正確な境界線を求める。
トレーニング可能なパラメータが1.6Mしかない提案手法は、離散的および暗黙的を含む既存の手法よりも優れている。
論文 参考訳(メタデータ) (2023-11-28T00:43:52Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - A Deep Ensemble Learning Approach to Lung CT Segmentation for COVID-19
Severity Assessment [0.5512295869673147]
新型コロナウイルス患者の肺CTの分類的セグメンテーションに対する新しい深層学習手法を提案する。
病理組織は正常な肺組織,非肺領域,および2つの異なる,しかし視覚的に類似した,病理組織に区分した。
提案するフレームワークは,3つのCOVID-19データセットの競合結果と優れた一般化機能を実現する。
論文 参考訳(メタデータ) (2022-07-05T21:28:52Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳(メタデータ) (2022-02-22T15:24:06Z) - CNN Filter Learning from Drawn Markers for the Detection of Suggestive
Signs of COVID-19 in CT Images [58.720142291102135]
畳み込みニューラルネットワーク(CNN)のフィルタを推定するために,大規模な注釈付きデータセットやバックプロパゲーションを必要としない手法を提案する。
少数のCT画像に対して、ユーザは、代表的な正常領域と異常領域にマーカーを描画する。
本発明の方法は、カーネルがマークされたものに似た拡張領域に特有な一連の畳み込み層からなる特徴抽出器を生成する。
論文 参考訳(メタデータ) (2021-11-16T15:03:42Z) - Synergistic Learning of Lung Lobe Segmentation and Hierarchical
Multi-Instance Classification for Automated Severity Assessment of COVID-19
in CT Images [61.862364277007934]
3次元CT画像におけるCOVID-19の重症度自動評価のための相乗的学習フレームワークを提案する。
マルチタスクのディープネットワーク(M$2$UNet)が開発され、新型コロナウイルス患者の重症度を評価する。
われわれのM$2$UNetはパッチレベルのエンコーダと肺葉分画のためのセグメンテーションサブネットワークと重度評価のための分類サブネットワークから構成されている。
論文 参考訳(メタデータ) (2020-05-08T03:16:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。