論文の概要: One-Prompt to Segment All Medical Images
- arxiv url: http://arxiv.org/abs/2305.10300v5
- Date: Wed, 17 Apr 2024 11:04:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 00:26:13.233245
- Title: One-Prompt to Segment All Medical Images
- Title(参考訳): 全医用画像のワンプロンプト
- Authors: Junde Wu, Jiayuan Zhu, Yueming Jin, Min Xu,
- Abstract要約: 本稿では「ワン・プロンプト」と呼ばれる普遍的な医用画像セグメンテーションに向けた新しいパラダイムを紹介する。
One-Promptは、ワンショットとインタラクティブなメソッドの長所を組み合わせたものだ。推論の段階では、textbfoneがトリガーしたサンプルと組み合わせることで、1回のフォワードパスで目に見えないタスクを正確に処理することができる。
以前にない14のデータセットでテストされたOne-Prompt Modelは、優れたゼロショットセグメンテーション機能を示し、幅広い関連するメソッドを上回っている。
- 参考スコア(独自算出の注目度): 18.829371793411347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large foundation models, known for their strong zero-shot generalization, have excelled in visual and language applications. However, applying them to medical image segmentation, a domain with diverse imaging types and target labels, remains an open challenge. Current approaches, such as adapting interactive segmentation models like Segment Anything Model (SAM), require user prompts for each sample during inference. Alternatively, transfer learning methods like few/one-shot models demand labeled samples, leading to high costs. This paper introduces a new paradigm toward the universal medical image segmentation, termed 'One-Prompt Segmentation.' One-Prompt Segmentation combines the strengths of one-shot and interactive methods. In the inference stage, with just \textbf{one prompted sample}, it can adeptly handle the unseen task in a single forward pass. We train One-Prompt Model on 64 open-source medical datasets, accompanied by the collection of over 3,000 clinician-labeled prompts. Tested on 14 previously unseen datasets, the One-Prompt Model showcases superior zero-shot segmentation capabilities, outperforming a wide range of related methods. The code and data is released as https://github.com/KidsWithTokens/one-prompt.
- Abstract(参考訳): 強力なゼロショットの一般化で知られる大規模な基礎モデルは、視覚および言語応用に優れている。
しかし、様々な画像タイプとターゲットラベルを持つ領域である医療画像セグメンテーションにそれらを適用することは、未解決の課題である。
SAM(Segment Anything Model)のようなインタラクティブセグメンテーションモデルの適用など、現在のアプローチでは、推論中に各サンプルに対してユーザプロンプトが必要になる。
あるいは、少数/1ショットモデルのような転送学習手法では、ラベル付きサンプルが要求されるため、高いコストがかかる。
本稿では「ワン・プロンプト・セグメンテーション」と呼ばれる普遍的な医用画像セグメンテーションに向けた新しいパラダイムを紹介する。
ワン・プロンプト・セグメンテーションはワンショットとインタラクティブな手法の強みを組み合わせたものである。
推論段階では、textbf{one prompt sample} だけで、単一のフォワードパスで目に見えないタスクを順応的に処理できる。
私たちは64のオープンソース医療データセットでOne-Prompt Modelをトレーニングし、3,000以上のクリニックラベルのプロンプトを収集しています。
以前にない14のデータセットでテストされたOne-Prompt Modelは、優れたゼロショットセグメンテーション機能を示し、幅広い関連するメソッドを上回っている。
コードとデータはhttps://github.com/KidsWithTokens/one-promptとしてリリースされる。
関連論文リスト
- Rethinking Interactive Image Segmentation with Low Latency, High Quality, and Diverse Prompts [68.86537322287474]
多様なプロンプトを持つ低レイテンシで高品質な対話的セグメンテーションは、スペシャリストやジェネラリストモデルでは難しい。
我々は、低レイテンシ、高品質、多様なプロンプトサポートを提供する次世代インタラクティブセグメンテーションアプローチであるSegNextを提案する。
本手法は,HQSeg-44KとDAVISにおいて,定量的かつ定性的に,最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-03-31T17:02:24Z) - FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。
我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。
当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
論文 参考訳(メタデータ) (2024-03-29T10:38:25Z) - IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence [2.822194296769473]
新しいクラスのセグメンテーションを学ぶために必要な画像の数を減らします。
インタラクティブなセグメンテーション技術は、一度に1つのオブジェクトのセグメンテーションを漸進的に改善することのみに焦点を当てます。
2つの概念を組み合わせることで、新しいクラスのセグメンテーションモデルをトレーニングするのに要する労力を大幅に削減する。
論文 参考訳(メタデータ) (2024-03-22T10:15:53Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳(メタデータ) (2023-12-28T18:59:04Z) - Self-Prompting Large Vision Models for Few-Shot Medical Image
Segmentation [14.135249795318591]
本稿では,医療ビジョン応用における自己プロンプトの新たな視点を提案する。
我々は、Segment Anything Modelの埋め込み空間を利用して、単純だが効果的な線形ピクセルワイド分類器を通して自身を誘導する。
複数のデータセットで競合する結果を得る。
論文 参考訳(メタデータ) (2023-08-15T08:20:07Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T08:47:06Z) - Segment Everything Everywhere All at Once [124.90835636901096]
画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。
そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。
多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2023-04-13T17:59:40Z) - Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot
Segmentation on Whole Slide Imaging [12.533476185972527]
画像セグメンテーションの基礎モデルとしてセグメンテーションモデル(SAM)がリリースされた。
スライド画像全体(WSI)における代表セグメンテーションタスクにおけるSAMモデルのゼロショットセグメンテーション性能を評価する。
その結果,0ショットSAMモデルは大きな連結オブジェクトに対して顕著なセグメンテーション性能を実現することが示唆された。
論文 参考訳(メタデータ) (2023-04-09T04:06:59Z) - UniSeg: A Prompt-driven Universal Segmentation Model as well as A Strong
Representation Learner [32.698493660851035]
マルチタスク画像分割のためのプロンプト駆動ユニバーサルモデル(UniSeg)を提案する。
我々は、進行中のタスクのモデル「アウェア」を早期に作成し、デコーダ全体のタスク固有のトレーニングを強化する。
提案したUniSegは,11の上流タスクにおいて,他のユニバーサルモデルやシングルタスクモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-04-07T06:28:51Z) - Prompt-Based Multi-Modal Image Segmentation [81.58378196535003]
テスト時に任意のプロンプトに基づいて画像セグメンテーションを生成するシステムを提案する。
プロンプトはテキストかイメージのいずれかでもよい。
私たちはCLIPモデルをバックボーンとして構築し、トランスフォーマーベースのデコーダで拡張します。
論文 参考訳(メタデータ) (2021-12-18T21:27:19Z) - Self-Supervised Generative Style Transfer for One-Shot Medical Image
Segmentation [10.634870214944055]
医用画像のセグメンテーションにおいて、教師付きディープネットワークの成功は、豊富なラベル付きデータを必要とするコストが伴う。
本稿では,ボリューム画像分割ペアを合成可能なデータ拡張のための,新しいボリューム自己教師型学習法を提案する。
我々の研究の中心的信条は、ワンショット生成学習と自己指導型学習戦略の併用による恩恵を受けている。
論文 参考訳(メタデータ) (2021-10-05T15:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。