論文の概要: MultiverSeg: Scalable Interactive Segmentation of Biomedical Imaging Datasets with In-Context Guidance
- arxiv url: http://arxiv.org/abs/2412.15058v1
- Date: Thu, 19 Dec 2024 17:06:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:32:24.213116
- Title: MultiverSeg: Scalable Interactive Segmentation of Biomedical Imaging Datasets with In-Context Guidance
- Title(参考訳): MultiverSeg:In-Context Guidanceを用いたバイオメディカルイメージングデータセットのスケーラブルなインタラクティブセグメンテーション
- Authors: Hallee E. Wong, Jose Javier Gonzalez Ortiz, John Guttag, Adrian V. Dalca,
- Abstract要約: 既存のラベル付きデータへのアクセスを必要とせずに、新しいデータセット全体を迅速にセグメント化するシステムを導入する。
画像のセグメント化とともに、クリックやバウンディングボックス、スクリブルといったユーザインタラクションを入力として取り、セグメント化を予測する。
我々は,MultiverSegによって,画像毎のインタラクション数を減らし,正確なセグメンテーションを実現することにより,対話的に新しいデータセットを効率的にセグメント化できることを実証した。
- 参考スコア(独自算出の注目度): 3.7015512365236907
- License:
- Abstract: Medical researchers and clinicians often need to perform novel segmentation tasks on a set of related images. Existing methods for segmenting a new dataset are either interactive, requiring substantial human effort for each image, or require an existing set of manually labeled images. We introduce a system, MultiverSeg, that enables practitioners to rapidly segment an entire new dataset without requiring access to any existing labeled data from that task or domain. Along with the image to segment, the model takes user interactions such as clicks, bounding boxes or scribbles as input, and predicts a segmentation. As the user segments more images, those images and segmentations become additional inputs to the model, providing context. As the context set of labeled images grows, the number of interactions required to segment each new image decreases. We demonstrate that MultiverSeg enables users to interactively segment new datasets efficiently, by amortizing the number of interactions per image to achieve an accurate segmentation. Compared to using a state-of-the-art interactive segmentation method, using MultiverSeg reduced the total number of scribble steps by 53% and clicks by 36% to achieve 90% Dice on sets of images from unseen tasks. We release code and model weights at https://multiverseg.csail.mit.edu
- Abstract(参考訳): 医学研究者や臨床医は、しばしば、関連する一連の画像に対して、新しいセグメンテーションタスクを実行する必要がある。
新しいデータセットをセグメンテーションする既存の方法は対話的であり、各画像に相当な人的労力を必要とするか、あるいは手動でラベル付けされた画像の既存のセットを必要とする。
我々は、そのタスクやドメインから既存のラベル付きデータにアクセスすることなく、実践者が新しいデータセット全体を迅速にセグメント化できるシステム、MultiverSegを導入する。
画像のセグメント化とともに、クリックやバウンディングボックス、スクリブルといったユーザインタラクションを入力として取り、セグメント化を予測する。
ユーザーがより多くの画像をセグメンテーションすると、それらの画像とセグメンテーションはモデルに追加の入力となり、コンテキストを提供する。
ラベル付き画像のコンテキストセットが大きくなるにつれて、各画像のセグメント化に必要なインタラクションの数が減少する。
我々は,MultiverSegによって,画像毎のインタラクション数を減らし,正確なセグメンテーションを実現することにより,対話的に新しいデータセットを効率的にセグメント化できることを実証した。
最先端のインタラクティブセグメンテーション法と比較して、MultiverSegを使用すると、スクリブルステップの総数は53%減り、クリック数は36%減って、目に見えないタスクからのイメージの90%のDiceを達成した。
コードとモデルの重み付けはhttps://multiverseg.csail.mit.eduでリリースします。
関連論文リスト
- IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence [2.822194296769473]
新しいクラスのセグメンテーションを学ぶために必要な画像の数を減らします。
インタラクティブなセグメンテーション技術は、一度に1つのオブジェクトのセグメンテーションを漸進的に改善することのみに焦点を当てます。
2つの概念を組み合わせることで、新しいクラスのセグメンテーションモデルをトレーニングするのに要する労力を大幅に削減する。
論文 参考訳(メタデータ) (2024-03-22T10:15:53Z) - SAMBA: A Trainable Segmentation Web-App with Smart Labelling [0.0]
SAMBAは、高速で高品質なラベル提案にMetaのSegment Anything Model(SAM)を使用するトレーニング可能なセグメンテーションツールである。
セグメンテーションバックエンドはクラウドで動作するため、ユーザは強力なハードウェアを必要としない。
論文 参考訳(メタデータ) (2023-12-07T10:31:05Z) - Interactive Segmentation for Diverse Gesture Types Without Context [19.29886866117842]
本稿では,画像のみをマークしなければならない簡易な対話型セグメンテーションタスクを提案する。
入力は、任意のジェスチャータイプを指定せずに、任意のジェスチャータイプを指定できる。
我々は,新しいタスクに適応したセグメンテーションを含む対話的セグメンテーションアルゴリズムを多数分析する。
論文 参考訳(メタデータ) (2023-07-20T01:37:32Z) - AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。
また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
論文 参考訳(メタデータ) (2023-05-28T16:28:49Z) - Segment Everything Everywhere All at Once [124.90835636901096]
画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。
そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。
多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2023-04-13T17:59:40Z) - DynaMITe: Dynamic Query Bootstrapping for Multi-object Interactive
Segmentation Transformer [58.95404214273222]
最先端のインスタンスセグメンテーション手法の多くは、訓練のために大量のピクセル精度のグランドトルースに依存している。
ユーザインタラクションを時間的クエリとして表現するDynaMITeという,より効率的なアプローチを導入する。
我々のアーキテクチャはまた、改善中にイメージ機能を再計算する必要をなくし、単一のイメージに複数のインスタンスをセグメント化するためのインタラクションを少なくする。
論文 参考訳(メタデータ) (2023-04-13T16:57:02Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳(メタデータ) (2022-07-18T09:20:04Z) - Rethinking Interactive Image Segmentation: Feature Space Annotation [68.8204255655161]
本稿では,特徴空間投影による複数画像からの対話的・同時セグメントアノテーションを提案する。
本手法は,前景セグメンテーションデータセットにおける最先端手法の精度を上回ることができることを示す。
論文 参考訳(メタデータ) (2021-01-12T10:13:35Z) - Multi-Stage Fusion for One-Click Segmentation [20.00726292545008]
対話型セグメンテーションのための多段階ガイダンスフレームワークを提案する。
提案フレームワークは,早期融合フレームワークと比較してパラメータ数の増加は無視できない。
論文 参考訳(メタデータ) (2020-10-19T17:07:40Z) - CRNet: Cross-Reference Networks for Few-Shot Segmentation [59.85183776573642]
少ないショットセグメンテーションは、少数のトレーニングイメージを持つ新しいクラスに一般化できるセグメンテーションモデルを学ぶことを目的としている。
相互参照機構により、我々のネットワークは2つの画像に共起する物体をよりよく見つけることができる。
PASCAL VOC 2012データセットの実験は、我々のネットワークが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2020-03-24T04:55:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。