論文の概要: CLISC: Bridging clip and sam by enhanced cam for unsupervised brain tumor segmentation
- arxiv url: http://arxiv.org/abs/2501.16246v1
- Date: Mon, 27 Jan 2025 17:43:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:56:09.279141
- Title: CLISC: Bridging clip and sam by enhanced cam for unsupervised brain tumor segmentation
- Title(参考訳): CLISC: 教師なし脳腫瘍セグメンテーションのための拡張カムによるブリッジクリップとサム
- Authors: Xiaochuan Ma, Jia Fu, Wenjun Liao, Shichuan Zhang, Guotai Wang,
- Abstract要約: 視覚言語モデル(CLIP)を用いて、分類ネットワークを訓練するための画像レベルの擬似ラベルを得る。
3DセグメンテーションネットワークはSAM由来の擬似ラベルで訓練され、低品質の擬似ラベルは自己学習プロセスでフィルタリングされる。
提案手法では,Dice similarity Score (DSC) の平均85.60%が得られた。
- 参考スコア(独自算出の注目度): 6.438259303569066
- License:
- Abstract: Brain tumor segmentation is important for diagnosis of the tumor, and current deep-learning methods rely on a large set of annotated images for training, with high annotation costs. Unsupervised segmentation is promising to avoid human annotations while the performance is often limited. In this study, we present a novel unsupervised segmentation approach that leverages the capabilities of foundation models, and it consists of three main steps: (1) A vision-language model (i.e., CLIP) is employed to obtain image-level pseudo-labels for training a classification network. Class Activation Mapping (CAM) is then employed to extract Regions of Interest (ROIs), where an adaptive masking-based data augmentation is used to enhance ROI identification.(2) The ROIs are used to generate bounding box and point prompts for the Segment Anything Model (SAM) to obtain segmentation pseudo-labels. (3) A 3D segmentation network is trained with the SAM-derived pseudo-labels, where low-quality pseudo-labels are filtered out in a self-learning process based on the similarity between the SAM's output and the network's prediction. Evaluation on the BraTS2020 dataset demonstrates that our approach obtained an average Dice Similarity Score (DSC) of 85.60%, outperforming five state-of-the-art unsupervised segmentation methods by more than 10 percentage points. Besides, our approach outperforms directly using SAM for zero-shot inference, and its performance is close to fully supervised learning.
- Abstract(参考訳): 脳腫瘍のセグメンテーションは腫瘍の診断に重要であり、現在のディープラーニング法は、高いアノテーションコストで、大量の注釈付き画像に頼っている。
教師なしセグメンテーションは、パフォーマンスが制限されている間、人間のアノテーションを避けることを約束している。
本研究では,基礎モデルの能力を活用した新しい教師なしセグメンテーション手法を提案し,(1)視覚言語モデル(CLIP)を用いて分類ネットワークの訓練を行う。
その後、クラスアクティベーションマッピング(CAM)を使用して関心領域(ROI)を抽出し、適応的なマスキングベースのデータ拡張を使用してROI識別を強化する。
2) ROI は、セグメンテーション擬似ラベルを得るために、セグメンション・任意のモデル(SAM)のバウンディングボックスとポイントプロンプトを生成するために使用される。
(3)SAMの出力とネットワークの予測との類似性に基づいて,低品質な擬似ラベルを自己学習プロセスでフィルタリングするSAM由来の擬似ラベルを用いて3Dセグメンテーションネットワークを訓練する。
BraTS2020データセットの評価は、我々の手法が平均Dice similarity Score (DSC) 85.60%を得て、5つの最先端の教師なしセグメンテーション法を10ポイント以上上回ったことを示している。
さらに,本手法は,ゼロショット推論にSAMを直接使用する場合よりも優れており,その性能は教師付き学習に近い。
関連論文リスト
- Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳(メタデータ) (2024-03-02T10:03:21Z) - Morphology-Enhanced CAM-Guided SAM for weakly supervised Breast Lesion Segmentation [7.747608350830482]
早期乳房超音波画像における病変の断片化を弱体化するための新しい枠組みを提案する。
本手法は,形態的拡張とクラスアクティベーションマップ(CAM)誘導局所化を用いた。
このアプローチはピクセルレベルのアノテーションを必要としないため、データアノテーションのコストが削減される。
論文 参考訳(メタデータ) (2023-11-18T22:06:04Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳(メタデータ) (2023-06-25T16:55:32Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T08:47:06Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z) - Unsupervised Dense Nuclei Detection and Segmentation with Prior
Self-activation Map For Histology Images [5.3882963853819845]
事前自己アクティベーションモジュール(PSM)を用いた自己教師型学習手法を提案する。
PSMは入力画像から自己活性化マップを生成し、ラベル付けコストを回避し、下流タスク用の擬似マスクを生成する。
他の完全教師付き・弱教師付き手法と比較して,本手法は手動アノテーションを使わずに競争性能を達成できる。
論文 参考訳(メタデータ) (2022-10-14T14:34:26Z) - Image Understands Point Cloud: Weakly Supervised 3D Semantic
Segmentation via Association Learning [59.64695628433855]
ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。
基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。
提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
論文 参考訳(メタデータ) (2022-09-16T07:59:04Z) - Triple-View Feature Learning for Medical Image Segmentation [9.992387025633805]
TriSegNetは半教師付きセマンティックセグメンテーションフレームワークである。
ラベル付けされたデータの限られた量と、ラベル付けされていない大量のデータに基づいて、トリプルビューの特徴学習を使用する。
論文 参考訳(メタデータ) (2022-08-12T14:41:40Z) - PA-Seg: Learning from Point Annotations for 3D Medical Image
Segmentation using Contextual Regularization and Cross Knowledge Distillation [14.412073730567137]
本稿では,3次元医用画像の7点のみのセグメンテーションターゲットに注釈を付け,弱教師付き学習フレームワークPA-Segを設計する。
第1段階では、より監督的な信号を提供するために、シードポイントを拡張するために測地距離変換を用いる。
第2段階では、第1段階で事前学習されたモデルから得られた予測を擬似ラベルとして使用する。
論文 参考訳(メタデータ) (2022-08-11T07:00:33Z) - PCA: Semi-supervised Segmentation with Patch Confidence Adversarial
Training [52.895952593202054]
医用画像セグメンテーションのためのPatch Confidence Adrial Training (PCA) と呼ばれる半教師付き対向法を提案する。
PCAは各パッチの画素構造とコンテキスト情報を学習し、十分な勾配フィードバックを得る。
本手法は, 医用画像のセグメンテーションにおいて, 最先端の半教師付き手法より優れており, その有効性を示している。
論文 参考訳(メタデータ) (2022-07-24T07:45:47Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-21T13:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。