論文の概要: Guided Prompting in SAM for Weakly Supervised Cell Segmentation in
Histopathological Images
- arxiv url: http://arxiv.org/abs/2311.17960v1
- Date: Wed, 29 Nov 2023 11:18:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:25:10.665194
- Title: Guided Prompting in SAM for Weakly Supervised Cell Segmentation in
Histopathological Images
- Title(参考訳): SAMを用いた病理組織像における弱視細胞分画のガイドプロンプト
- Authors: Aayush Kumar Tyagi, Vaibhav Mishra, Prathosh A.P., Mausam
- Abstract要約: 本稿では、セグメンタを誘導するために、関連するタスクからのアノテーションである弱い監視を使用することに焦点を当てる。
SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。
すべてのSAMベースのソリューションは、既存の弱教師付きイメージセグメンテーションモデルを大幅に上回り、9~15 ptのDiceゲインを得る。
- 参考スコア(独自算出の注目度): 27.14641973632063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cell segmentation in histopathological images plays a crucial role in
understanding, diagnosing, and treating many diseases. However, data annotation
for this is expensive since there can be a large number of cells per image, and
expert pathologists are needed for labelling images. Instead, our paper focuses
on using weak supervision -- annotation from related tasks -- to induce a
segmenter. Recent foundation models, such as Segment Anything (SAM), can use
prompts to leverage additional supervision during inference. SAM has performed
remarkably well in natural image segmentation tasks; however, its applicability
to cell segmentation has not been explored.
In response, we investigate guiding the prompting procedure in SAM for weakly
supervised cell segmentation when only bounding box supervision is available.
We develop two workflows: (1) an object detector's output as a test-time prompt
to SAM (D-SAM), and (2) SAM as pseudo mask generator over training data to
train a standalone segmentation model (SAM-S). On finding that both workflows
have some complementary strengths, we develop an integer programming-based
approach to reconcile the two sets of segmentation masks, achieving yet higher
performance. We experiment on three publicly available cell segmentation
datasets namely, ConSep, MoNuSeg, and TNBC, and find that all SAM-based
solutions hugely outperform existing weakly supervised image segmentation
models, obtaining 9-15 pt Dice gains.
- Abstract(参考訳): 病理組織像における細胞分画は多くの疾患の理解、診断、治療において重要な役割を担っている。
しかし、画像ごとに多数の細胞が存在する可能性があるため、このデータアノテーションは高価であり、画像のラベル付けには専門家の病理医が必要である。
代わりに、本論文では、セグメンタを誘導するために、関連タスクからのアノテーションである弱い監督を使うことに焦点をあてている。
SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。
SAMは自然画像のセグメンテーションタスクにおいて極めてよく機能しているが、細胞セグメンテーションへの適用性は研究されていない。
そこで本研究では,拘束箱の監督のみが可能である場合,SAMのプロンプト手順の導出について検討する。
本研究では,(1)SAM(D-SAM)に対するテストタイムプロンプトとしてのオブジェクト検出器の出力と,(2)SAM(SAM-S)の独立セグメンテーションモデル(SAM-S)のトレーニングデータに対する擬似マスク生成器としてのSAMの出力の2つのワークフローを開発する。
両ワークフローに相補的な長所があることから,2組のセグメンテーションマスクを分解する整数プログラミングに基づくアプローチを開発し,高い性能を実現する。
我々は、ConSep、MoNuSeg、TNBCの3つの公開セルセグメンテーションデータセットを実験し、SAMベースのソリューションが既存の弱教師付き画像セグメンテーションモデルを大幅に上回り、9~15 ptのDiceゲインが得られることを発見した。
関連論文リスト
- Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。
第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。
これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
論文 参考訳(メタデータ) (2024-04-18T17:59:53Z) - Test-Time Adaptation with SaLIP: A Cascade of SAM and CLIP for Zero shot Medical Image Segmentation [10.444726122035133]
臓器分割のための単純な統合フレームワークSaLIPを提案する。
SAMは画像内の部分ベースのセグメンテーションに使用され、CLIPは関心領域に対応するマスクを検索する。
最後に、SAMは検索されたROIによって特定の臓器を分節するように促される。
論文 参考訳(メタデータ) (2024-04-09T14:56:34Z) - WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳(メタデータ) (2024-03-14T10:30:43Z) - BLO-SAM: Bi-level Optimization Based Overfitting-Preventing Finetuning
of SAM [37.1263294647351]
BLO-SAMを導入し、二段階最適化(BLO)に基づいてSAM(Segment Anything Model)を微調整する。
BLO-SAMは、モデルの重みパラメータのトレーニングと、トレーニングデータセットの2つの別々のサブセットへの迅速な埋め込みによって、過適合のリスクを低減する。
その結果、BLO-SAMは様々な最先端画像セマンティックセグメンテーション法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-02-26T06:36:32Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳(メタデータ) (2023-11-27T12:51:42Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳(メタデータ) (2023-08-17T02:51:01Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳(メタデータ) (2023-07-10T17:59:40Z) - All-in-SAM: from Weak Annotation to Pixel-wise Nuclei Segmentation with
Prompt-based Finetuning [16.016139980843835]
Segment Anything Model (SAM) は、ゼロショットセグメンテーションアプローチにおいて、最近提案されたプロンプトベースのセグメンテーションモデルである。
推論段階で手動のプロンプトを必要とせずに,AI開発ワークフロー全体を通じてSAMを利用するパイプラインを導入する。
実験の結果,1) 提案したパイプラインは, 公開モヌセグデータセット上での核分割タスクにおいて, 最先端(SOTA)手法を超越し, 2) SAMファインタニングのための弱いアノテーションと少ないアノテーションの利用により, 競争性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-07-01T10:12:46Z) - How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。
しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。
本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
論文 参考訳(メタデータ) (2023-06-23T18:34:30Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳(メタデータ) (2023-05-04T17:59:36Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳(メタデータ) (2023-04-25T07:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。