論文の概要: PromptUNet: Toward Interactive Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2305.10300v1
- Date: Wed, 17 May 2023 15:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 15:12:42.890488
- Title: PromptUNet: Toward Interactive Medical Image Segmentation
- Title（参考訳）: PromptUNet: インタラクティブな医用画像セグメンテーションを目指して
- Authors: Junde Wu
- Abstract要約: SAM(Segment Anything Model)と呼ばれる、よく設計されたプロンプトベースのモデルが、幅広い自然画像をセグメント化できることを実証した。
近年の研究では、SAMは医療画像上では不十分であることが示されている。
これにより、医用画像分割に特化した新しいプロンプトベースセグメンテーションモデルを設計する動機となった。
- 参考スコア（独自算出の注目度）: 3.8073142980733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt-based segmentation, also known as interactive segmentation, has
recently become a popular approach in image segmentation. A well-designed
prompt-based model called Segment Anything Model (SAM) has demonstrated its
ability to segment a wide range of natural images, which has sparked a lot of
discussion in the community. However, recent studies have shown that SAM
performs poorly on medical images. This has motivated us to design a new
prompt-based segmentation model specifically for medical image segmentation. In
this paper, we combine the prompted-based segmentation paradigm with UNet,
which is a widly-recognized successful architecture for medical image
segmentation. We have named the resulting model PromptUNet. In order to adapt
the real-world clinical use, we expand the existing prompt types in SAM to
include novel Supportive Prompts and En-face Prompts. We have evaluated the
capabilities of PromptUNet on 19 medical image segmentation tasks using a
variety of image modalities, including CT, MRI, ultrasound, fundus, and
dermoscopic images. Our results show that PromptUNet outperforms a wide range
of state-of-the-art (SOTA) medical image segmentation methods, including
nnUNet, TransUNet, UNetr, MedSegDiff, and MSA. Code will be released at:
https://github.com/WuJunde/PromptUNet.
- Abstract（参考訳）: インタラクティブセグメンテーションとしても知られるプロンプトベースのセグメンテーションは、近年、画像セグメンテーションにおける一般的なアプローチとなっている。
うまく設計されたプロンプトベースのモデルであるsegment anything model(sam)は、幅広い自然画像をセグメント化できることを実証し、コミュニティで多くの議論を巻き起こした。
しかし、近年の研究ではサムは医療画像で成績が悪いことが示されている。
これにより、医用画像分割に特化した新しいプロンプトベースセグメンテーションモデルを設計する動機となった。
本稿では,医用画像のセグメンテーションのためのwidlyが認識したアーキテクチャであるunetとプロンプトに基づくセグメンテーションパラダイムを組み合わせる。
結果のモデル PromptUNet を命名しました。
実世界の臨床利用に適応するために,SAMの既存のプロンプトタイプを拡張し,新規なサポートプロンプトとエンフェイスプロンプトを含むようにした。
今回我々は、ct, mri, 超音波, 眼底, 皮膚鏡などの様々な画像特徴を用いて、19の医用画像分割課題における迅速性の評価を行った。
以上の結果から, PromptUNetは, nnUNet, TransUNet, UNetr, MedSegDiff, MSAなど, 最先端(SOTA)の医療画像セグメンテーション手法よりも優れていることがわかった。
コードは、https://github.com/WuJunde/PromptUNet.comでリリースされる。
関連論文リスト
- Automating MedSAM by Learning Prompts with Weak Few-Shot Supervision [10.609371657347806]
本研究は,入力プロンプトの条件付けを,画像埋め込みから直接プロンプト埋め込みを学習する軽量モジュールに置き換えることを提案する。
本手法は,医療用画像に微調整したSAMのバージョンであるMedSAMを用いて検証した。
論文 参考訳（メタデータ） (2024-09-30T13:53:01Z) - Curriculum Prompting Foundation Models for Medical Image Segmentation [17.33821260899367]
医療画像のセグメンテーションにSAMのような、訓練済みの大規模な基礎モデルを適用することは、依然として大きな課題である。
過去の研究は各インスタンスの特定のタイプのプロンプトに大きく依存しており、理想的に正しいプロンプトのマニュアル入力を必要とする。
本稿では,原画像から得られた異なる粒度のプロンプトを利用して,より広範な臨床所見を提供することを提案する。
そこで我々は,異なるタイプのプロンプトを段階的に統合する,カリキュラムプロンプトと呼ばれる粗大な機構を設計した。
論文 参考訳（メタデータ） (2024-09-01T11:00:18Z) - ProtoSAM: One-Shot Medical Image Segmentation With Foundational Models [29.781228739479893]
ProtoSAMは、ワンショットの医療画像セグメンテーションのための新しいフレームワークである。
これは、数ショットセグメンテーションで知られているプロトタイプネットワークと、自然画像基盤モデルSAMの併用である。
論文 参考訳（メタデータ） (2024-07-09T17:04:08Z) - Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts [68.86537322287474]
多様なプロンプトを持つ低レイテンシで高品質な対話的セグメンテーションは、スペシャリストやジェネラリストモデルでは難しい。
我々は、低レイテンシ、高品質、多様なプロンプトサポートを提供する次世代インタラクティブセグメンテーションアプローチであるSegNextを提案する。
本手法は,HQSeg-44KとDAVISにおいて,定量的かつ定性的に,最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-03-31T17:02:24Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳（メタデータ） (2023-12-28T18:59:04Z) - Self-Prompting Large Vision Models for Few-Shot Medical Image
Segmentation [14.135249795318591]
本稿では,医療ビジョン応用における自己プロンプトの新たな視点を提案する。
我々は、Segment Anything Modelの埋め込み空間を利用して、単純だが効果的な線形ピクセルワイド分類器を通して自身を誘導する。
複数のデータセットで競合する結果を得る。
論文 参考訳（メタデータ） (2023-08-15T08:20:07Z) - Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。
トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
論文 参考訳（メタデータ） (2023-06-15T17:51:28Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T08:47:06Z) - Segment Everything Everywhere All at Once [124.90835636901096]
画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。
そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。
多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
論文 参考訳（メタデータ） (2023-04-13T17:59:40Z) - Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot
Segmentation on Whole Slide Imaging [12.533476185972527]
画像セグメンテーションの基礎モデルとしてセグメンテーションモデル(SAM)がリリースされた。
スライド画像全体(WSI)における代表セグメンテーションタスクにおけるSAMモデルのゼロショットセグメンテーション性能を評価する。
その結果,0ショットSAMモデルは大きな連結オブジェクトに対して顕著なセグメンテーション性能を実現することが示唆された。
論文 参考訳（メタデータ） (2023-04-09T04:06:59Z) - Prompt-Based Multi-Modal Image Segmentation [81.58378196535003]
テスト時に任意のプロンプトに基づいて画像セグメンテーションを生成するシステムを提案する。
プロンプトはテキストかイメージのいずれかでもよい。
私たちはCLIPモデルをバックボーンとして構築し、トランスフォーマーベースのデコーダで拡張します。
論文 参考訳（メタデータ） (2021-12-18T21:27:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。