論文の概要: CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection
- arxiv url: http://arxiv.org/abs/2301.00785v1
- Date: Mon, 2 Jan 2023 18:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 14:45:19.847733
- Title: CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection
- Title(参考訳): クリップ駆動による臓器分節・腫瘍検出のためのユニバーサルモデル
- Authors: Jie Liu, Yixiao Zhang, Jie-Neng Chen, Junfei Xiao, Yongyi Lu, Bennett
A. Landman, Yixuan Yuan, Alan Yuille, Yucheng Tang, Zongwei Zhou
- Abstract要約: 本稿では,CLIP(Contrastive Language-Driven Pre-training)から学んだ埋め込みを,CLIP-Driven Universal Modelと呼ばれるセグメンテーションモデルに導入する。
Universal Modelは、腹部構造間の意味的関係を利用して、25の臓器と6種類の腫瘍をよりよく分類することができる。
データセット固有のモデルと比較すると、Universal Modelは計算効率が良く(6倍高速)、様々なサイトからのCTスキャンに優れ、新しいタスクにおいてより強力な転送学習性能を示す。
- 参考スコア(独自算出の注目度): 23.3710162864963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An increasing number of public datasets have shown a marked clinical impact
on assessing anatomical structures. However, each of the datasets is small,
partially labeled, and rarely investigates severe tumor subjects. Moreover,
current models are limited to segmenting specific organs/tumors, which can not
be extended to novel domains and classes. To tackle these limitations, we
introduce embedding learned from Contrastive Language-Image Pre-training (CLIP)
to segmentation models, dubbed the CLIP-Driven Universal Model. The Universal
Model can better segment 25 organs and 6 types of tumors by exploiting the
semantic relationship between abdominal structures. The model is developed from
an assembly of 14 datasets with 3,410 CT scans and evaluated on 6,162 external
CT scans from 3 datasets. We rank first on the public leaderboard of the
Medical Segmentation Decathlon (MSD) and achieve the state-of-the-art results
on Beyond The Cranial Vault (BTCV). Compared with dataset-specific models, the
Universal Model is computationally more efficient (6x faster), generalizes
better to CT scans from varying sites, and shows stronger transfer learning
performance on novel tasks. The design of CLIP embedding enables the Universal
Model to be easily extended to new classes without catastrophically forgetting
the previously learned classes.
- Abstract(参考訳): 公的データセットの増加は、解剖学的構造の評価に顕著な臨床効果を示している。
しかし、それぞれのデータセットは小さく、部分的にラベル付けされており、重度の腫瘍患者を調査することは稀である。
さらに、現在のモデルは特定の臓器や腫瘍のセグメント化に限られており、新しいドメインやクラスに拡張することはできない。
これらの制約に対処するために、CLIP駆動ユニバーサルモデルと呼ばれるセグメンテーションモデルに、Contrastive Language-Image Pre-Training (CLIP)から学んだ埋め込みを導入する。
ユニバーサルモデルでは腹部構造間の意味的関係を利用して,25臓器と6種類の腫瘍を分類できる。
このモデルは、3,410個のCTスキャンを持つ14のデータセットから開発され、3つのデータセットから6,162個の外部CTスキャンで評価される。
我々は,医学分離宣言 (MSD) の公的リーダーボードにランクインし,BTCV (Beyond The Cranial Vault) の最先端の成果を達成する。
データセット固有のモデルと比較すると、ユニバーサルモデルは計算効率が6倍速く、様々なサイトからのctスキャンをより一般化し、新しいタスクでより強力な転送学習性能を示す。
CLIP埋め込みの設計により、Universal Modelは、これまで学んだクラスを破滅的に忘れることなく、新しいクラスに容易に拡張できる。
関連論文リスト
- TotalSegmentator MRI: Sequence-Independent Segmentation of 59 Anatomical Structures in MR images [62.53931644063323]
本研究では,TotalSegmentatorをMR画像に拡張した。
このデータセットに基づいてnnU-Netセグメンテーションアルゴリズムを訓練し、類似度係数(Dice)を計算し、モデルの性能を評価した。
このモデルは、他の2つの公開セグメンテーションモデル(Dice score 0.824 vs 0.762; p0.001 and 0.762 versus 0.542; p)を大きく上回った。
論文 参考訳(メタデータ) (2024-05-29T20:15:54Z) - Universal and Extensible Language-Vision Models for Organ Segmentation and Tumor Detection from Abdominal Computed Tomography [50.08496922659307]
本稿では、単一のモデルであるUniversal Modelが複数の公開データセットに対処し、新しいクラスに適応することを可能にするユニバーサルフレームワークを提案する。
まず,大規模言語モデルからの言語埋め込みを利用した新しい言語駆動パラメータ生成手法を提案する。
第二に、従来の出力層は軽量でクラス固有のヘッドに置き換えられ、ユニバーサルモデルでは25の臓器と6種類の腫瘍を同時に分割することができる。
論文 参考訳(メタデータ) (2024-05-28T16:55:15Z) - RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis [56.57177181778517]
RadGenome-Chest CTはCT-RATEに基づく大規模3次元胸部CT解釈データセットである。
私たちは、最新の強力なユニバーサルセグメンテーションと大きな言語モデルを活用して、元のデータセットを拡張します。
論文 参考訳(メタデータ) (2024-04-25T17:11:37Z) - One Model to Rule them All: Towards Universal Segmentation for Medical Images with Text Prompts [62.55349777609194]
我々は、SATと呼ばれるテキストプロンプトによって駆動される放射線学的スキャンにおいて、任意のセグメンテーションを可能にするモデルを構築することを目指している。
トレーニングのために、最大かつ最も包括的なセグメンテーションデータセットを構築します。
我々はSAT-Nano(110Mパラメータ)とSAT-Pro(447Mパラメータ)をトレーニングし、データセット/サブセット毎にトレーニングされた72の専門家nnU-Netに匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-12-28T18:16:00Z) - 3D Medical Image Segmentation based on multi-scale MPU-Net [5.393743755706745]
本稿では,患者のCT画像に対する腫瘍分割モデルMPU-Netを提案する。
グローバルアテンション機構を備えたTransformerにインスパイアされている。
ベンチマークモデルであるU-Netと比較して、MPU-Netは優れたセグメンテーション結果を示す。
論文 参考訳(メタデータ) (2023-07-11T20:46:19Z) - Continual Segment: Towards a Single, Unified and Accessible Continual
Segmentation Model of 143 Whole-body Organs in CT Scans [31.388497540849297]
全身143の臓器をセグメント化するための1つの深部分割モデルを学習するための新しいアーキテクチャCSS学習フレームワークを提案する。
私たちは4つのデータセットから2500人以上の患者の3DCTをトレーニングし、検証しました。
論文 参考訳(メタデータ) (2023-02-01T00:49:21Z) - TotalSegmentator: robust segmentation of 104 anatomical structures in CT
images [48.50994220135258]
身体CT画像の深層学習セグメント化モデルを提案する。
このモデルは、臓器の容積、疾患の特徴、外科的または放射線療法計画などのユースケースに関連する104の解剖学的構造を区分することができる。
論文 参考訳(メタデータ) (2022-08-11T15:16:40Z) - A New Probabilistic V-Net Model with Hierarchical Spatial Feature
Transform for Efficient Abdominal Multi-Organ Segmentation [15.26560999964979]
本稿では, 階層的空間的特徴変調を用いた確率的多臓器分割ネットワークを提案する。
提案手法は公開されているAbdomenCT-1Kデータセットに基づいて訓練され、他の2つのオープンデータセットで評価される。
論文 参考訳(メタデータ) (2022-08-02T11:51:46Z) - Generalized Organ Segmentation by Imitating One-shot Reasoning using
Anatomical Correlation [55.1248480381153]
そこで我々は,アノテーション付きオルガンクラスから一般化されたオルガン概念を学習し,その概念を未知のクラスに転送するOrganNetを提案する。
そこで,OrganNetは臓器形態の幅広い変化に効果的に抵抗でき,一発分節タスクで最先端の結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-30T13:41:12Z) - Weakly Supervised 3D Classification of Chest CT using Aggregated
Multi-Resolution Deep Segmentation Features [5.938730586521215]
CT画像の病巣分類は, 症例レベルのアノテーションが原因で, 局所性に乏しい。
マルチレゾリューション・セグメンテーション・フィーチャーマップを用いて学習した意味構造概念を活用する医療分類器を提案する。
論文 参考訳(メタデータ) (2020-10-31T00:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。