論文の概要: Self-Sampling Meta SAM: Enhancing Few-shot Medical Image Segmentation
with Meta-Learning
- arxiv url: http://arxiv.org/abs/2308.16466v1
- Date: Thu, 31 Aug 2023 05:20:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 17:39:36.013334
- Title: Self-Sampling Meta SAM: Enhancing Few-shot Medical Image Segmentation
with Meta-Learning
- Title(参考訳): 自己サンプリング型メタSAM:メタラーニングによる医療画像の断片化
- Authors: Yiming Zhang, Tianang Leng, Kun Han, Xiaohui Xie
- Abstract要約: 数ショットの医用画像分割のための自己サンプリングメタSAMフレームワークを提案する。
提案手法は,数発のセグメンテーションにおいて最先端の手法よりも大幅に向上する。
そこで本研究では,対話型画像分割における高速なオンライン適応手法を提案する。
- 参考スコア(独自算出の注目度): 17.386754270460273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the Segment Anything Model (SAM) excels in semantic segmentation for
general-purpose images, its performance significantly deteriorates when applied
to medical images, primarily attributable to insufficient representation of
medical images in its training dataset. Nonetheless, gathering comprehensive
datasets and training models that are universally applicable is particularly
challenging due to the long-tail problem common in medical images. To address
this gap, here we present a Self-Sampling Meta SAM (SSM-SAM) framework for
few-shot medical image segmentation. Our innovation lies in the design of three
key modules: 1) An online fast gradient descent optimizer, further optimized by
a meta-learner, which ensures swift and robust adaptation to new tasks. 2) A
Self-Sampling module designed to provide well-aligned visual prompts for
improved attention allocation; and 3) A robust attention-based decoder
specifically designed for medical few-shot learning to capture relationship
between different slices. Extensive experiments on a popular abdominal CT
dataset and an MRI dataset demonstrate that the proposed method achieves
significant improvements over state-of-the-art methods in few-shot
segmentation, with an average improvements of 10.21% and 1.80% in terms of DSC,
respectively. In conclusion, we present a novel approach for rapid online
adaptation in interactive image segmentation, adapting to a new organ in just
0.83 minutes. Code is publicly available on GitHub upon acceptance.
- Abstract(参考訳): SAM(Segment Anything Model)は汎用画像のセマンティックセグメンテーションに優れるが、医用画像に適用した場合、主に訓練データセットにおける医用画像の表現不足に起因するパフォーマンスが著しく低下する。
それでも、広く適用可能な包括的なデータセットやトレーニングモデルを集めることは、医用画像に共通する長い尾の問題のために特に困難である。
このギャップに対処するために、数ショットの医用画像分割のためのSelf-Sampling Meta SAM (SSM-SAM) フレームワークを提案する。
私たちのイノベーションは3つの重要なモジュールの設計にあります。
1) オンラインの高速勾配降下最適化器はメタラーナーによってさらに最適化され、新しいタスクへの迅速かつ堅牢な適応が保証される。
2)注意の配置を改善するために、よく整列した視覚プロンプトを提供するように設計された自己サンプリングモジュール
3) 異なるスライス間の関係を捉えるために, 医療用少数ショット学習用に設計された頑健な注意ベースデコーダ。
一般的な腹部CTデータセットとMRIデータセットの広範な実験により、提案手法は、数ショットのセグメンテーションにおいて最先端の手法よりも大幅に改善され、それぞれ10.21%と1.80%の改善が達成された。
そこで本研究では,対話型画像セグメンテーションにおけるオンライン適応の迅速化について,0.83分で新しい臓器に適応できる新しい手法を提案する。
コードは受け付け次第githubで公開されている。
関連論文リスト
- MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。
提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。
また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
論文 参考訳(メタデータ) (2024-09-28T23:10:37Z) - Retrieval-augmented Few-shot Medical Image Segmentation with Foundation Models [17.461510586128874]
本稿では,DINOv2 と Segment Anything Model 2 を併用して,画像の検索を行う手法を提案する。
我々のアプローチでは、DINOv2の機能をクエリとして使用し、制限付きアノテートデータから類似したサンプルを検索し、それをメモリバンクにエンコードする。
論文 参考訳(メタデータ) (2024-08-16T15:48:07Z) - Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。
我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。
医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
論文 参考訳(メタデータ) (2024-06-03T03:16:25Z) - MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。
3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
論文 参考訳(メタデータ) (2024-03-29T15:59:11Z) - SM2C: Boost the Semi-supervised Segmentation for Medical Image by using Meta Pseudo Labels and Mixed Images [13.971120210536995]
医用画像のセマンティックな特徴を学習する能力を向上させるために,SM2C(Scaling-up Mix with Multi-Class)を導入した。
セグメンテーションオブジェクトの形状を多様化し、各サンプル内の意味情報を豊かにすることにより、SM2Cはそのポテンシャルを示す。
提案したフレームワークは、最先端のフレームワークよりも大幅に改善されている。
論文 参考訳(メタデータ) (2024-03-24T04:39:40Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - OneSeg: Self-learning and One-shot Learning based Single-slice
Annotation for 3D Medical Image Segmentation [36.50258132379276]
本稿では,各3次元画像の1つのスライスに注釈を付けることで,3次元医用画像セグメンテーションのための自己学習とワンショット学習に基づくフレームワークを提案する。
提案手法は,(1)3次元画像中の2次元スライス間の意味的対応を学習する再構成ネットワークの自己学習,(2)1ショット手動アノテーションのための1つのスライスの代表的選択である。
我々の新しいフレームワークは、完全に教師された手法と比較して1%未満のアノテートデータで同等のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-09-24T15:35:58Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - 3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation [52.699139151447945]
医用画像の領域分割を行うために, SAMを2次元から3次元に変換する新しい適応法を提案する。
本モデルでは, 腎腫瘍, 膵腫瘍, 大腸癌の3つのタスクのうち8.25%, 29.87%, 10.11%の3つのタスクにおいて, ドメイン・オブ・ザ・アーティヴ・メディカル・イメージ・セグメンテーション・モデルより優れ, 肝腫瘍セグメンテーションでも同様の性能が得られる。
論文 参考訳(メタデータ) (2023-06-23T12:09:52Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。