論文の概要: Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation
- arxiv url: http://arxiv.org/abs/2404.08584v1
- Date: Fri, 12 Apr 2024 16:29:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 14:27:45.325332
- Title: Pathological Primitive Segmentation Based on Visual Foundation Model with Zero-Shot Mask Generation
- Title（参考訳）: ゼロショットマスク生成による視覚基礎モデルに基づく病的原始的セグメンテーション
- Authors: Abu Bakor Hayat Arnob, Xiangxue Wang, Yiping Jiao, Xiao Gan, Wenlong Ming, Jun Xu,
- Abstract要約: 本稿では,SAMの学習済み自然画像エンコーダを検出ベース領域提案に適用する手法を提案する。
SAMというベースフレームワーク全体は、追加のトレーニングや微調整を必要としないが、病理学における2つの基本的なセグメンテーションタスクに対してエンドツーエンドの結果をもたらす可能性がある。
- 参考スコア（独自算出の注目度）: 3.5177988631063486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical image processing usually requires a model trained with carefully crafted datasets due to unique image characteristics and domain-specific challenges, especially in pathology. Primitive detection and segmentation in digitized tissue samples are essential for objective and automated diagnosis and prognosis of cancer. SAM (Segment Anything Model) has recently been developed to segment general objects from natural images with high accuracy, but it requires human prompts to generate masks. In this work, we present a novel approach that adapts pre-trained natural image encoders of SAM for detection-based region proposals. Regions proposed by a pre-trained encoder are sent to cascaded feature propagation layers for projection. Then, local semantic and global context is aggregated from multi-scale for bounding box localization and classification. Finally, the SAM decoder uses the identified bounding boxes as essential prompts to generate a comprehensive primitive segmentation map. The entire base framework, SAM, requires no additional training or fine-tuning but could produce an end-to-end result for two fundamental segmentation tasks in pathology. Our method compares with state-of-the-art models in F1 score for nuclei detection and binary/multiclass panoptic(bPQ/mPQ) and mask quality(dice) for segmentation quality on the PanNuke dataset while offering end-to-end efficiency. Our model also achieves remarkable Average Precision (+4.5%) on the secondary dataset (HuBMAP Kidney) compared to Faster RCNN. The code is publicly available at https://github.com/learner-codec/autoprom_sam.
- Abstract（参考訳）: 医用画像処理は通常、特に病理学において、ユニークな画像の特徴とドメイン固有の課題のために、慎重に構築されたデータセットで訓練されたモデルを必要とする。
デジタル化組織サンプルの原始的検出とセグメンテーションは、がんの客観的および自動診断および予後に不可欠である。
SAM(Segment Anything Model)は、最近、自然画像から一般的な物体を高精度に分割するために開発されたが、マスクを生成するには人間のプロンプトが必要である。
本研究では,SAMの学習済み自然画像エンコーダを検出ベース領域提案に適用する手法を提案する。
事前訓練されたエンコーダによって提案された領域は、投影のためにカスケードされた特徴伝搬層に送られる。
次に、ボックスの局所化と分類のためのマルチスケールから局所意味とグローバルコンテキストを集約する。
最後に、SAMデコーダは識別された境界ボックスを必須のプロンプトとして使用し、包括的なプリミティブセグメンテーションマップを生成する。
SAMというベースフレームワーク全体は、追加のトレーニングや微調整を必要としないが、病理学における2つの基本的なセグメンテーションタスクに対してエンドツーエンドの結果をもたらす可能性がある。
提案手法は,F1の原子核検出のための最先端モデルと,PanNukeデータセットのセグメンテーション品質のための2値/マルチクラスパン光学(bPQ/mPQ)とマスク品質(dice)を比較し,エンドツーエンド効率を実現した。
我々のモデルは、Faster RCNNと比較して、セカンダリデータセット(HuBMAP Kidney)で顕著な平均精度(+4.5%)を達成する。
コードはhttps://github.com/learner-codec/autoprom_sam.comで公開されている。
関連論文リスト
- Explanations of Classifiers Enhance Medical Image Segmentation via
End-to-end Pre-training [37.11542605885003]
医用画像セグメンテーションは、ディープニューラルネットワークを用いて、胸部X線写真などの医用画像の異常な構造を特定し、発見することを目的としている。
我々の研究は、よく訓練された分類器から説明を集め、セグメンテーションタスクの擬似ラベルを生成する。
次に、インテグレート・グラディエント(IG)法を用いて、分類器から得られた説明を蒸留し、強化し、大規模診断指向のローカライゼーション・ラベル(DoLL)を生成する。
これらのDLLアノテーション付き画像は、新型コロナウイルス感染症、肺、心臓、鎖骨などの下流のセグメンテーションタスクのために、モデルを微調整する前に事前訓練するために使用される。
論文 参考訳（メタデータ） (2024-01-16T16:18:42Z) - Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。
TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
論文 参考訳（メタデータ） (2023-09-06T04:30:15Z) - Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。
I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
論文 参考訳（メタデータ） (2023-08-31T05:05:53Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2023-01-12T08:19:46Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳（メタデータ） (2022-04-19T10:41:09Z) - Multiscale Convolutional Transformer with Center Mask Pretraining for
Hyperspectral Image Classificationtion [14.33259265286265]
本稿では,空間スペクトル情報の効率的な抽出を実現するために,高スペクトル画像(HSI)のための高速多スケール畳み込みモジュールを提案する。
マスクオートエンコーダと同様に、我々の事前学習法は、エンコーダ内の中央画素の対応するトークンのみをマスクし、残りのトークンをデコーダに入力し、中央画素のスペクトル情報を再構成する。
論文 参考訳（メタデータ） (2022-03-09T14:42:26Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳（メタデータ） (2022-02-22T15:24:06Z) - Weakly Supervised Deep Nuclei Segmentation Using Partial Points
Annotation in Histopathology Images [51.893494939675314]
本稿では,部分点アノテーションに基づく弱教師付きセグメンテーションフレームワークを提案する。
本手法は, 完全教師付き手法や最先端手法と比較して, 競争性能を向上できることを示す。
論文 参考訳（メタデータ） (2020-07-10T15:41:29Z) - Collaborative Boundary-aware Context Encoding Networks for Error Map
Prediction [65.44752447868626]
本稿では,AEP-Net と呼ばれる協調的コンテキスト符号化ネットワークを提案する。
具体的には、画像とマスクのより優れた特徴融合のための協調的な特徴変換分岐と、エラー領域の正確な局所化を提案する。
AEP-Netはエラー予測タスクの平均DSCが0.8358,0.8164であり、ピアソン相関係数が0.9873である。
論文 参考訳（メタデータ） (2020-06-25T12:42:01Z) - Boundary-aware Context Neural Network for Medical Image Segmentation [15.585851505721433]
医用画像のセグメンテーションは、さらなる臨床分析と疾患診断のための信頼性の高い基盤を提供することができる。
既存のCNNベースのほとんどの手法は、正確なオブジェクト境界のない不満足なセグメンテーションマスクを生成する。
本稿では,2次元医用画像分割のための境界認識コンテキストニューラルネットワーク(BA-Net)を定式化する。
論文 参考訳（メタデータ） (2020-05-03T02:35:49Z) - A generic ensemble based deep convolutional neural network for
semi-supervised medical image segmentation [7.141405427125369]
深層畳み込みニューラルネットワーク(DCNN)に基づく画像セグメンテーションのための汎用的な半教師付き学習フレームワークを提案する。
本手法は,ラベルなしデータを組み込むことで,完全教師付きモデル学習を超えて大幅に改善することができる。
論文 参考訳（メタデータ） (2020-04-16T23:41:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。