論文の概要: NuSegDG: Integration of Heterogeneous Space and Gaussian Kernel for Domain-Generalized Nuclei Segmentation
- arxiv url: http://arxiv.org/abs/2408.11787v2
- Date: Sun, 25 Aug 2024 03:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 12:42:21.389355
- Title: NuSegDG: Integration of Heterogeneous Space and Gaussian Kernel for Domain-Generalized Nuclei Segmentation
- Title(参考訳): NuSegDG:領域一般化核分割のための不均一空間とガウス核の統合
- Authors: Zhenye Lou, Qing Xu, Zekun Jiang, Xiangjian He, Zhen Chen, Yi Wang, Chenxin Li, Maggie M. He, Wenting Duan,
- Abstract要約: 我々はNuSegDGと略して、核画像分割のためのドメイン一般化可能なフレームワークを提案する。
HS-AdapterはSAMの画像エンコーダに少数のトレーニング可能なパラメータを注入することで、異なる核ドメインの多次元特徴表現を学習する。
GKP-エンコーダは1つの点によって駆動される密度マップを生成し、位置プロンプトと意味プロンプトを混合することによってセグメント化予測を導く。
- 参考スコア(独自算出の注目度): 9.332333405703732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain-generalized nuclei segmentation refers to the generalizability of models to unseen domains based on knowledge learned from source domains and is challenged by various image conditions, cell types, and stain strategies. Recently, the Segment Anything Model (SAM) has made great success in universal image segmentation by interactive prompt modes (e.g., point and box). Despite its strengths, the original SAM presents limited adaptation to medical images. Moreover, SAM requires providing manual bounding box prompts for each object to produce satisfactory segmentation masks, so it is laborious in nuclei segmentation scenarios. To address these limitations, we propose a domain-generalizable framework for nuclei image segmentation, abbreviated to NuSegDG. Specifically, we first devise a Heterogeneous Space Adapter (HS-Adapter) to learn multi-dimensional feature representations of different nuclei domains by injecting a small number of trainable parameters into the image encoder of SAM. To alleviate the labor-intensive requirement of manual prompts, we introduce a Gaussian-Kernel Prompt Encoder (GKP-Encoder) to generate density maps driven by a single point, which guides segmentation predictions by mixing position prompts and semantic prompts. Furthermore, we present a Two-Stage Mask Decoder (TSM-Decoder) to effectively convert semantic masks to instance maps without the manual demand for morphological shape refinement. Based on our experimental evaluations, the proposed NuSegDG demonstrates state-of-the-art performance in nuclei instance segmentation, exhibiting superior domain generalization capabilities. The source code is available at https://github.com/xq141839/NuSegDG.
- Abstract(参考訳): ドメイン一般化核セグメンテーション(ドメイン一般化核セグメンテーション、Domain Generalized Nuclear segmentation)とは、ソースドメインから学んだ知識に基づいて、モデルが見えない領域に一般化可能であることをいう。
近年,Segment Anything Model (SAM) はインタラクティブなプロンプトモード(例えば,ポイント,ボックス)による画像分割において大きな成功を収めている。
その強さにもかかわらず、オリジナルのSAMは医療画像への適応が限られている。
さらにSAMは、各オブジェクトが良好なセグメンテーションマスクを生成するために、手動でバウンディングボックスプロンプトを提供する必要があるため、核セグメンテーションのシナリオでは精力的である。
これらの制約に対処するため、NuSegDGと略される核画像分割のためのドメイン一般化可能なフレームワークを提案する。
具体的には、まず、SAMの画像エンコーダに少数のトレーニング可能なパラメータを注入することにより、異なる核ドメインの多次元特徴表現を学習するために、異種空間適応器(HS-Adapter)を考案する。
手動プロンプトの労働集約的な要求を軽減するため,単一点で駆動される密度マップを生成するガウス・ケルネル・プロンプトエンコーダ(GKP-エンコーダ)を導入し,位置プロンプトと意味プロンプトを混合してセグメンテーション予測を導出する。
さらに,2段階マスクデコーダ(TSM-Decoder)を提案する。
実験により,提案したNuSegDGは,核インスタンス分割における最先端の性能を示し,ドメインの一般化能力に優れていた。
ソースコードはhttps://github.com/xq141839/NuSegDGで入手できる。
関連論文リスト
- Prompting Segment Anything Model with Domain-Adaptive Prototype for Generalizable Medical Image Segmentation [49.5901368256326]
医用画像のセグメンテーションにおけるセグメンテーションモデル(DAPSAM)の微調整のための新しいドメイン適応型プロンプトフレームワークを提案する。
DAPSAMは,2つの医療画像分割タスクにおいて,異なるモダリティで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-09-19T07:28:33Z) - Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation [3.5177988631063486]
本稿では,SAMの学習済み自然画像エンコーダを検出ベース領域提案に適用する手法を提案する。
SAMというベースフレームワーク全体は、追加のトレーニングや微調整を必要としないが、病理学における2つの基本的なセグメンテーションタスクに対してエンドツーエンドの結果をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-04-12T16:29:49Z) - UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images [47.59627416801523]
デジタル病理学において、正確な核分割は、組織の種類、染色プロトコル、イメージング条件の多様性によって、重要な課題である。
我々はUniversal prompt-free SAM framework for Nuclei segmentation (UN-SAM)を提案する。
例外的な性能を持つUN-SAMは、核インスタンスやセマンティックセグメンテーションの最先端、特にゼロショットシナリオにおける一般化能力を上回っている。
論文 参考訳(メタデータ) (2024-02-26T15:35:18Z) - Unleashing the Power of Prompt-driven Nucleus Instance Segmentation [12.827503504028629]
Segment Anything Model (SAM) は医療画像のセグメンテーションにおいて大きな注目を集めている。
本稿では, 自動核インスタンスセグメンテーションのための新規なプロンプト駆動型フレームワークについて述べる。
提案手法は,3つの試行錯誤ベンチマークに対して,最先端性能を新たに設定する。
論文 参考訳(メタデータ) (2023-11-27T15:46:47Z) - Segment Everything Everywhere All at Once [124.90835636901096]
画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。
そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。
多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2023-04-13T17:59:40Z) - MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain
Generalization [36.71630929695019]
ドメイン間の学習に基づく医用画像セグメンテーションの一般化能力は、現在、ドメインシフトによるパフォーマンス劣化によって制限されている。
解剖学的特徴表現とドメイン的特徴表現を明確に切り離す新しい相互情報(MI)ベースのフレームワークであるMI-SegNetを提案する。
パラメータやマシンの異なる複数のデータセットに対して提案したドメインに依存しないセグメンテーション手法の一般化性を検証する。
論文 参考訳(メタデータ) (2023-03-22T15:30:44Z) - Domain Adaptive Nuclei Instance Segmentation and Classification via
Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。
我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2022-07-04T07:05:06Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation
GAN [27.936725483892076]
本稿では,画像翻訳とインスタンスセグメンテーションを共同で行うCysic Generative Adrial Network(CySGAN)を提案する。
注記電子顕微鏡(en:Annotated electron microscopy, EM)画像とラベルなし拡張顕微鏡(en:Unlabeled expansion microscopy, ExM)データを用いて, ニューロンの3次元セグメンテーションの課題についてベンチマークを行った。
論文 参考訳(メタデータ) (2022-04-06T20:46:39Z) - Boosting Few-shot Semantic Segmentation with Transformers [81.43459055197435]
TRansformer-based Few-shot Semantic segmentation Method (TRFS)
我々のモデルは,グローバル・エンハンスメント・モジュール(GEM)とローカル・エンハンスメント・モジュール(LEM)の2つのモジュールから構成される。
論文 参考訳(メタデータ) (2021-08-04T20:09:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。