論文の概要: PromptUNet: Toward Interactive Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2305.10300v1
- Date: Wed, 17 May 2023 15:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 15:12:42.890488
- Title: PromptUNet: Toward Interactive Medical Image Segmentation
- Title(参考訳): PromptUNet: インタラクティブな医用画像セグメンテーションを目指して
- Authors: Junde Wu
- Abstract要約: SAM(Segment Anything Model)と呼ばれる、よく設計されたプロンプトベースのモデルが、幅広い自然画像をセグメント化できることを実証した。
近年の研究では、SAMは医療画像上では不十分であることが示されている。
これにより、医用画像分割に特化した新しいプロンプトベースセグメンテーションモデルを設計する動機となった。
- 参考スコア(独自算出の注目度): 3.8073142980733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt-based segmentation, also known as interactive segmentation, has
recently become a popular approach in image segmentation. A well-designed
prompt-based model called Segment Anything Model (SAM) has demonstrated its
ability to segment a wide range of natural images, which has sparked a lot of
discussion in the community. However, recent studies have shown that SAM
performs poorly on medical images. This has motivated us to design a new
prompt-based segmentation model specifically for medical image segmentation. In
this paper, we combine the prompted-based segmentation paradigm with UNet,
which is a widly-recognized successful architecture for medical image
segmentation. We have named the resulting model PromptUNet. In order to adapt
the real-world clinical use, we expand the existing prompt types in SAM to
include novel Supportive Prompts and En-face Prompts. We have evaluated the
capabilities of PromptUNet on 19 medical image segmentation tasks using a
variety of image modalities, including CT, MRI, ultrasound, fundus, and
dermoscopic images. Our results show that PromptUNet outperforms a wide range
of state-of-the-art (SOTA) medical image segmentation methods, including
nnUNet, TransUNet, UNetr, MedSegDiff, and MSA. Code will be released at:
https://github.com/WuJunde/PromptUNet.
- Abstract(参考訳): インタラクティブセグメンテーションとしても知られるプロンプトベースのセグメンテーションは、近年、画像セグメンテーションにおける一般的なアプローチとなっている。
うまく設計されたプロンプトベースのモデルであるsegment anything model(sam)は、幅広い自然画像をセグメント化できることを実証し、コミュニティで多くの議論を巻き起こした。
しかし、近年の研究ではサムは医療画像で成績が悪いことが示されている。
これにより、医用画像分割に特化した新しいプロンプトベースセグメンテーションモデルを設計する動機となった。
本稿では,医用画像のセグメンテーションのためのwidlyが認識したアーキテクチャであるunetとプロンプトに基づくセグメンテーションパラダイムを組み合わせる。
結果のモデル PromptUNet を命名しました。
実世界の臨床利用に適応するために,SAMの既存のプロンプトタイプを拡張し,新規なサポートプロンプトとエンフェイスプロンプトを含むようにした。
今回我々は、ct, mri, 超音波, 眼底, 皮膚鏡などの様々な画像特徴を用いて、19の医用画像分割課題における迅速性の評価を行った。
以上の結果から, PromptUNetは, nnUNet, TransUNet, UNetr, MedSegDiff, MSAなど, 最先端(SOTA)の医療画像セグメンテーション手法よりも優れていることがわかった。
コードは、https://github.com/WuJunde/PromptUNet.comでリリースされる。
関連論文リスト
- Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts [68.86537322287474]
多様なプロンプトを持つ低レイテンシで高品質な対話的セグメンテーションは、スペシャリストやジェネラリストモデルでは難しい。
我々は、低レイテンシ、高品質、多様なプロンプトサポートを提供する次世代インタラクティブセグメンテーションアプローチであるSegNextを提案する。
本手法は,HQSeg-44KとDAVISにおいて,定量的かつ定性的に,最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-03-31T17:02:24Z) - FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。
我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。
当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文 参考訳(メタデータ) (2024-03-29T10:38:25Z) - IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence [2.822194296769473]
新しいクラスのセグメンテーションを学ぶために必要な画像の数を減らします。
インタラクティブなセグメンテーション技術は、一度に1つのオブジェクトのセグメンテーションを漸進的に改善することのみに焦点を当てます。
2つの概念を組み合わせることで、新しいクラスのセグメンテーションモデルをトレーニングするのに要する労力を大幅に削減する。
論文 参考訳(メタデータ) (2024-03-22T10:15:53Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳(メタデータ) (2023-12-28T18:59:04Z) - Self-Prompting Large Vision Models for Few-Shot Medical Image
Segmentation [14.135249795318591]
本稿では,医療ビジョン応用における自己プロンプトの新たな視点を提案する。
我々は、Segment Anything Modelの埋め込み空間を利用して、単純だが効果的な線形ピクセルワイド分類器を通して自身を誘導する。
複数のデータセットで競合する結果を得る。
論文 参考訳(メタデータ) (2023-08-15T08:20:07Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T08:47:06Z) - Segment Everything Everywhere All at Once [124.90835636901096]
画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。
そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。
多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2023-04-13T17:59:40Z) - Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot
Segmentation on Whole Slide Imaging [12.533476185972527]
画像セグメンテーションの基礎モデルとしてセグメンテーションモデル(SAM)がリリースされた。
スライド画像全体(WSI)における代表セグメンテーションタスクにおけるSAMモデルのゼロショットセグメンテーション性能を評価する。
その結果,0ショットSAMモデルは大きな連結オブジェクトに対して顕著なセグメンテーション性能を実現することが示唆された。
論文 参考訳(メタデータ) (2023-04-09T04:06:59Z) - UniSeg: A Prompt-driven Universal Segmentation Model as well as A Strong
Representation Learner [32.698493660851035]
マルチタスク画像分割のためのプロンプト駆動ユニバーサルモデル(UniSeg)を提案する。
我々は、進行中のタスクのモデル「アウェア」を早期に作成し、デコーダ全体のタスク固有のトレーニングを強化する。
提案したUniSegは,11の上流タスクにおいて,他のユニバーサルモデルやシングルタスクモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-04-07T06:28:51Z) - Prompt-Based Multi-Modal Image Segmentation [81.58378196535003]
テスト時に任意のプロンプトに基づいて画像セグメンテーションを生成するシステムを提案する。
プロンプトはテキストかイメージのいずれかでもよい。
私たちはCLIPモデルをバックボーンとして構築し、トランスフォーマーベースのデコーダで拡張します。
論文 参考訳(メタデータ) (2021-12-18T21:27:19Z) - Self-Supervised Generative Style Transfer for One-Shot Medical Image
Segmentation [10.634870214944055]
医用画像のセグメンテーションにおいて、教師付きディープネットワークの成功は、豊富なラベル付きデータを必要とするコストが伴う。
本稿では,ボリューム画像分割ペアを合成可能なデータ拡張のための,新しいボリューム自己教師型学習法を提案する。
我々の研究の中心的信条は、ワンショット生成学習と自己指導型学習戦略の併用による恩恵を受けている。
論文 参考訳(メタデータ) (2021-10-05T15:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。