論文の概要: SegICL: A Multimodal In-context Learning Framework for Enhanced Segmentation in Medical Imaging
- arxiv url: http://arxiv.org/abs/2403.16578v3
- Date: Wed, 29 May 2024 07:00:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 23:01:49.029362
- Title: SegICL: A Multimodal In-context Learning Framework for Enhanced Segmentation in Medical Imaging
- Title（参考訳）: SegICL:医療画像におけるセグメンテーション強化のためのマルチモーダルインコンテキスト学習フレームワーク
- Authors: Lingdong Shen, Fangxin Shang, Xiaoshuang Huang, Yehui Yang, Haifeng Huang, Shiming Xiang,
- Abstract要約: In-Context Learning (ICL) を利用した画像セグメンテーション手法であるSegICLを紹介する。
SegICLはテキスト誘導セグメンテーションを採用し、少量のイメージマスクペアでテキスト内学習を行うことができる。
ショット供給時のセグメンテーション性能はゼロショット設定時の性能の約1.5倍である。
- 参考スコア（独自算出の注目度）: 24.32438479339158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of medical image segmentation, tackling Out-of-Distribution (OOD) segmentation tasks in a cost-effective manner remains a significant challenge. Universal segmentation models is a solution, which aim to generalize across the diverse modality of medical images, yet their effectiveness often diminishes when applied to OOD data modalities and tasks, requiring intricate fine-tuning of model for optimal performance. Few-shot learning segmentation methods are typically designed for specific modalities of data and cannot be directly transferred for use with another modality. Therefore, we introduce SegICL, a novel approach leveraging In-Context Learning (ICL) for image segmentation. Unlike existing methods, SegICL has the capability to employ text-guided segmentation and conduct in-context learning with a small set of image-mask pairs, eliminating the need for training the model from scratch or fine-tuning for OOD tasks (including OOD modality and dataset). Extensive experimental demonstrates a positive correlation between the number of shots and segmentation performance on OOD tasks. The performance of segmentation when provided thre-shots is approximately 1.5 times better than the performance in a zero-shot setting. This indicates that SegICL effectively address new segmentation tasks based on contextual information. Additionally, SegICL also exhibits comparable performance to mainstream models on OOD and in-distribution tasks. Our code will be released after paper review.
- Abstract（参考訳）: 医用画像のセグメンテーションの分野では、アウト・オブ・ディストリビューション(OOD)のセグメンテーションタスクを費用対効果で扱うことが大きな課題である。
ユニバーサルセグメンテーションモデル(Universal segmentation model)は、医療画像の様々なモダリティを一般化することを目的としたソリューションである。
少ないショットの学習セグメンテーション法は、典型的にはデータの特定のモダリティのために設計されており、他のモダリティで使用するために直接転送することはできない。
そこで我々は,画像セグメンテーションにIn-Context Learning(ICL)を活用する新しいアプローチであるSegICLを紹介した。
既存の方法とは異なり、SegICLはテキスト誘導セグメンテーションを採用し、小さなイメージマスクペアでコンテキスト内学習を行う機能を備えており、OODタスク(OODモダリティとデータセットを含む)のスクラッチや微調整からモデルをトレーニングする必要がなくなる。
OODタスクにおけるショット数とセグメンテーション性能の正の相関を示す。
ショット供給時のセグメンテーション性能はゼロショット設定時の性能の約1.5倍である。
これは、SegICLがコンテキスト情報に基づく新しいセグメンテーションタスクに効果的に対処していることを示している。
さらに、SegICLはOODおよび分散タスクのメインストリームモデルに匹敵するパフォーマンスを示す。
私たちのコードは、論文レビューの後にリリースされます。
関連論文リスト
- PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - Cross Prompting Consistency with Segment Anything Model for Semi-supervised Medical Image Segmentation [44.54301473673582]
半教師付き学習(SSL)は,医用画像のセグメンテーションにおいて顕著な進歩を遂げている。
SAM(Segment Anything Model)のような視覚基盤モデルの最近の発展は、顕著な適応性を示している。
半教師型医用画像分割のためのセグメンテーションモデル(CPC-SAM)を用いたクロスプロンプト整合性手法を提案する。
論文 参考訳（メタデータ） (2024-07-07T15:43:20Z) - Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。
画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文 参考訳（メタデータ） (2024-03-14T17:52:31Z) - SMC-NCA: Semantic-guided Multi-level Contrast for Semi-supervised Temporal Action Segmentation [53.010417880335424]
半教師付き時間的アクションセグメンテーション(SS-TA)は、長編ビデオにおいてフレームワイズ分類を行うことを目的としている。
近年の研究では、教師なし表現学習におけるコントラスト学習の可能性が示されている。
本稿では,SMC-NCA(Neighbourhood-Consistency-Aware Unit)を用いたセマンティック誘導型マルチレベルコントラスト方式を提案する。
論文 参考訳（メタデータ） (2023-12-19T17:26:44Z) - Interpretable Small Training Set Image Segmentation Network Originated
from Multi-Grid Variational Model [5.283735137946097]
深層学習法 (DL) が提案され, 画像分割に広く利用されている。
DLメソッドは通常、トレーニングデータとして大量の手動セグメントデータを必要とし、解釈性に乏しい。
本稿では,MSモデルにおける手作り正則項をデータ適応型一般化可学習正則項に置き換える。
論文 参考訳（メタデータ） (2023-06-25T02:34:34Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T08:47:06Z) - IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised
Medical Image Segmentation [3.6748639131154315]
我々は,メートル法学習の概念をセグメンテーションタスクに拡張する。
本稿では,高密度画素レベルの特徴量を得るための単純な畳み込みプロジェクションヘッドを提案する。
下流タスクに対して,2ストリーム正規化トレーニングを含む双方向正規化機構を考案した。
論文 参考訳（メタデータ） (2022-10-26T23:11:02Z) - Data-Limited Tissue Segmentation using Inpainting-Based Self-Supervised
Learning [3.7931881761831328]
プレテキストタスクを含む自己教師付き学習(SSL)メソッドは、ラベルなしデータを使用したモデルの最初の事前トレーニングによって、この要件を克服する可能性を示している。
ラベル限定シナリオにおけるCTとMRI画像のセグメンテーションにおける2つのSSL手法の有効性を評価する。
最適に訓練され,実装が容易なSSLセグメンテーションモデルは,ラベル制限シナリオにおけるMRIおよびCT組織セグメンテーションの古典的な手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-14T16:34:05Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z) - Towards Robust Partially Supervised Multi-Structure Medical Image
Segmentation on Small-Scale Data [123.03252888189546]
データ不足下における部分教師付き学習(PSL)における方法論的ギャップを埋めるために,不確実性下でのビシナルラベル(VLUU)を提案する。
マルチタスク学習とヴィジナルリスク最小化によって動機づけられたVLUUは、ビジナルラベルを生成することによって、部分的に教師付き問題を完全な教師付き問題に変換する。
本研究は,ラベル効率の高い深層学習における新たな研究の方向性を示唆するものである。
論文 参考訳（メタデータ） (2020-11-28T16:31:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。