論文の概要: UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images
- arxiv url: http://arxiv.org/abs/2402.16663v1
- Date: Mon, 26 Feb 2024 15:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 20:23:28.936144
- Title: UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images
- Title(参考訳): UN-SAM: 一般化核画像のためのユニバーサルプロンプトフリーセグメンテーション
- Authors: Zhen Chen, Qing Xu, Xinyu Liu, Yixuan Yuan
- Abstract要約: デジタル病理学において、正確な核分割は、組織の種類、染色プロトコル、イメージング条件の多様性によって、重要な課題である。
我々はUniversal prompt-free SAM framework for Nuclei segmentation (UN-SAM)を提案する。
例外的な性能を持つUN-SAMは、核インスタンスやセマンティックセグメンテーションの最先端、特にゼロショットシナリオにおける一般化能力を上回っている。
- 参考スコア(独自算出の注目度): 47.59627416801523
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In digital pathology, precise nuclei segmentation is pivotal yet challenged
by the diversity of tissue types, staining protocols, and imaging conditions.
Recently, the segment anything model (SAM) revealed overwhelming performance in
natural scenarios and impressive adaptation to medical imaging. Despite these
advantages, the reliance of labor-intensive manual annotation as segmentation
prompts severely hinders their clinical applicability, especially for nuclei
image analysis containing massive cells where dense manual prompts are
impractical. To overcome the limitations of current SAM methods while retaining
the advantages, we propose the Universal prompt-free SAM framework for Nuclei
segmentation (UN-SAM), by providing a fully automated solution with remarkable
generalization capabilities. Specifically, to eliminate the labor-intensive
requirement of per-nuclei annotations for prompt, we devise a multi-scale
Self-Prompt Generation (SPGen) module to revolutionize clinical workflow by
automatically generating high-quality mask hints to guide the segmentation
tasks. Moreover, to unleash the generalization capability of SAM across a
variety of nuclei images, we devise a Domain-adaptive Tuning Encoder
(DT-Encoder) to seamlessly harmonize visual features with domain-common and
domain-specific knowledge, and further devise a Domain Query-enhanced Decoder
(DQ-Decoder) by leveraging learnable domain queries for segmentation decoding
in different nuclei domains. Extensive experiments prove that UN-SAM with
exceptional performance surpasses state-of-the-arts in nuclei instance and
semantic segmentation, especially the generalization capability in zero-shot
scenarios. The source code is available at
https://github.com/CUHK-AIM-Group/UN-SAM.
- Abstract(参考訳): デジタル病理学では、正確な核分画は、組織の種類、染色プロトコル、画像条件の多様性によっても重要な課題である。
近年,S segment anything model (SAM) は自然シナリオにおいて圧倒的な性能を示し,医用画像への顕著な適応を示した。
これらの利点にもかかわらず、分節化としての労働集約的な手動アノテーションの依存は、特に密集した手動のプロンプトが実用的でない巨大な細胞を含む核画像解析において、臨床応用性を著しく阻害する。
優位性を維持しつつ,現在のSAM手法の限界を克服するため,Universal prompt-free SAM framework for Nuclei segmentation (UN-SAM)を提案する。
具体的には,マルチスケール自己プロンプト生成(spgen)モジュールを考案し,セグメンテーションタスクを導くための高品質マスクヒントを自動生成することにより,臨床ワークフローに革命をもたらす。
さらに,種々の核画像にまたがってSAMの一般化能力を解き放つために,ドメイン適応型チューニングエンコーダ(DT-Encoder)を考案し,異なるドメイン領域のセグメンテーションデコードに学習可能なドメインクエリを活用することで,視覚的特徴とドメイン固有知識をシームレスに調和させ,ドメインクエリ拡張デコーダ(DQ-Decoder)を考案した。
広範な実験により、UN-SAMは核のインスタンスやセマンティックセグメンテーションの最先端、特にゼロショットシナリオにおける一般化能力を超越していることが証明された。
ソースコードはhttps://github.com/CUHK-AIM-Group/UN-SAMで入手できる。
関連論文リスト
- Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation [3.5177988631063486]
本稿では,SAMの学習済み自然画像エンコーダを検出ベース領域提案に適用する手法を提案する。
SAMというベースフレームワーク全体は、追加のトレーニングや微調整を必要としないが、病理学における2つの基本的なセグメンテーションタスクに対してエンドツーエンドの結果をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-04-12T16:29:49Z) - Segment Any Cell: A SAM-based Auto-prompting Fine-tuning Framework for
Nuclei Segmentation [39.81051783009144]
Segment Any Cell (SAC) は、SAMを核セグメンテーションのために強化する革新的なフレームワークである。
SACはトランスフォーマーの注意層にローランド適応(LoRA)を統合し、微調整プロセスを改善する。
コントリビューションには、新しいプロンプト生成戦略、多様なセグメンテーションタスクの自動適応性、セグメンテーション課題のための汎用フレームワークなどが含まれます。
論文 参考訳(メタデータ) (2024-01-24T04:23:17Z) - Unleashing the Power of Prompt-driven Nucleus Instance Segmentation [12.827503504028629]
Segment Anything Model (SAM) は医療画像のセグメンテーションにおいて大きな注目を集めている。
本稿では, 自動核インスタンスセグメンテーションのための新規なプロンプト駆動型フレームワークについて述べる。
提案手法は,3つの試行錯誤ベンチマークに対して,最先端性能を新たに設定する。
論文 参考訳(メタデータ) (2023-11-27T15:46:47Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-10-22T02:27:02Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳(メタデータ) (2023-08-17T02:51:01Z) - Domain Adaptive Nuclei Instance Segmentation and Classification via
Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。
我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2022-07-04T07:05:06Z) - TransUNet: Transformers Make Strong Encoders for Medical Image
Segmentation [78.01570371790669]
医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。
様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。
医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
論文 参考訳(メタデータ) (2021-02-08T16:10:50Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Studying Robustness of Semantic Segmentation under Domain Shift in
cardiac MRI [0.8858288982748155]
複数の臨床センターやスキャナーベンダーからの画像間でのドメイン転送の課題と機会について検討する。
本研究では、nnU-netフレームワークによって構成された固定されたU-Netアーキテクチャに基づいて、様々なデータ拡張手法とバッチ正規化層について検討する。
論文 参考訳(メタデータ) (2020-11-15T17:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。