論文の概要: SegICL: A Universal In-context Learning Framework for Enhanced Segmentation in Medical Imaging
- arxiv url: http://arxiv.org/abs/2403.16578v2
- Date: Tue, 2 Apr 2024 09:55:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 07:48:16.661796
- Title: SegICL: A Universal In-context Learning Framework for Enhanced Segmentation in Medical Imaging
- Title(参考訳): SegICL: 医用画像における拡張セグメンテーションのためのユニバーサルインコンテクスト学習フレームワーク
- Authors: Lingdong Shen, Fangxin Shang, Yehui Yang, Xiaoshuang Huang, Shiming Xiang,
- Abstract要約: In-Context Learning (ICL) を利用した画像セグメンテーション手法であるSegICLを紹介する。
SegICLはテキスト誘導セグメンテーションを採用し、少量のイメージマスクペアでテキスト内学習を行うことができる。
私たちのコードはまもなくリリースされるでしょう。
- 参考スコア(独自算出の注目度): 22.044076244284287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical image segmentation models adapting to new tasks in a training-free manner through in-context learning is an exciting advancement. Universal segmentation models aim to generalize across the diverse modality of medical images, yet their effectiveness often diminishes when applied to out-of-distribution (OOD) data modalities and tasks, requiring intricate fine-tuning of model for optimal performance. For addressing this challenge, we introduce SegICL, a novel approach leveraging In-Context Learning (ICL) for image segmentation. Unlike existing methods, SegICL has the capability to employ text-guided segmentation and conduct in-context learning with a small set of image-mask pairs, eliminating the need for training the model from scratch or fine-tuning for OOD tasks (including OOD modality and dataset). Extensive experimental validation of SegICL demonstrates a positive correlation between the number of prompt samples and segmentation performance on OOD modalities and tasks. This indicates that SegICL effectively address new segmentation tasks based on contextual information. Additionally, SegICL also exhibits comparable segmentation performance to mainstream models on OOD and in-distribution tasks. Our code will be released soon.
- Abstract(参考訳): 文脈内学習を通じて新しいタスクに適応する医用画像セグメンテーションモデルは、エキサイティングな進歩である。
ユニバーサルセグメンテーションモデルは、医療画像の多様なモダリティをまたいで一般化することを目的としているが、その効果は、アウト・オブ・ディストリビューション(OOD)データモダリティやタスクに適用した場合に減少し、最適なパフォーマンスのためにモデルの複雑な微調整を必要とする。
この課題に対処するために、画像セグメンテーションにIn-Context Learning(ICL)を活用する新しいアプローチであるSegICLを紹介する。
既存の方法とは異なり、SegICLはテキスト誘導セグメンテーションを採用し、小さなイメージマスクペアでコンテキスト内学習を行う機能を備えており、OODタスク(OODモダリティとデータセットを含む)のスクラッチや微調整からモデルをトレーニングする必要がなくなる。
SegICLの大規模な実験的検証は,OODモダリティとタスクに対するプロンプトサンプル数とセグメンテーション性能の正の相関を示す。
これは、SegICLがコンテキスト情報に基づく新しいセグメンテーションタスクに効果的に対処していることを示している。
さらに、SegICLはOODおよび分散タスクのメインストリームモデルに匹敵するセグメンテーション性能を示す。
私たちのコードはまもなくリリースされるでしょう。
関連論文リスト
- Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。
画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文 参考訳(メタデータ) (2024-03-14T17:52:31Z) - SMC-NCA: Semantic-guided Multi-level Contrast for Semi-supervised
Temporal Action Segmentation [57.9100732918114]
本稿では,アクションセグメンテーションのための強力なフレームワイズ表現を抽出するために,近隣環境対応ユニット(SMC-NCA)を用いた新しいマルチレベルコントラスト方式を提案する。
我々のSMCは3つのベンチマークで他の最先端の手法よりも優れており、編集距離と精度の点で最大17.8%と12.6%の改善を提供している。
また,提案手法の有効性をパーキンソン病マウス行動データセットに示す。
論文 参考訳(メタデータ) (2023-12-19T17:26:44Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T08:47:06Z) - Localized Region Contrast for Enhancing Self-Supervised Learning in
Medical Image Segmentation [27.82940072548603]
本稿では,地域コントラスト(LRC)を統合した新しいコントラスト学習フレームワークを提案する。
提案手法では,Felzenszwalbのアルゴリズムによるスーパーピクセルの同定と,新しいコントラッシブサンプリング損失を用いた局所コントラスト学習を行う。
論文 参考訳(メタデータ) (2023-04-06T22:43:13Z) - IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised
Medical Image Segmentation [3.6748639131154315]
我々は,メートル法学習の概念をセグメンテーションタスクに拡張する。
本稿では,高密度画素レベルの特徴量を得るための単純な畳み込みプロジェクションヘッドを提案する。
下流タスクに対して,2ストリーム正規化トレーニングを含む双方向正規化機構を考案した。
論文 参考訳(メタデータ) (2022-10-26T23:11:02Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - Data-Limited Tissue Segmentation using Inpainting-Based Self-Supervised
Learning [3.7931881761831328]
プレテキストタスクを含む自己教師付き学習(SSL)メソッドは、ラベルなしデータを使用したモデルの最初の事前トレーニングによって、この要件を克服する可能性を示している。
ラベル限定シナリオにおけるCTとMRI画像のセグメンテーションにおける2つのSSL手法の有効性を評価する。
最適に訓練され,実装が容易なSSLセグメンテーションモデルは,ラベル制限シナリオにおけるMRIおよびCT組織セグメンテーションの古典的な手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-14T16:34:05Z) - Semantic Representation and Dependency Learning for Multi-Label Image
Recognition [76.52120002993728]
本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。
具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。
また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
論文 参考訳(メタデータ) (2022-04-08T00:55:15Z) - Exemplar Learning for Medical Image Segmentation [38.61378161105941]
医用画像セグメンテーションのためのempllar Learning-based Synthesis Net (ELSNet) フレームワークを提案する。
ELSNetはイメージセグメンテーションのための2つの新しいモジュールを導入している。
いくつかの臓器セグメント化データセットの実験を行い,詳細な解析を行った。
論文 参考訳(メタデータ) (2022-04-03T00:10:06Z) - Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised
Semantic Segmentation [88.49669148290306]
そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。
同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。
学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
論文 参考訳(メタデータ) (2021-07-25T11:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。