論文の概要: Do Vision Foundation Models Enhance Domain Generalization in Medical Image Segmentation?
- arxiv url: http://arxiv.org/abs/2409.07960v1
- Date: Thu, 12 Sep 2024 11:41:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 16:48:47.853758
- Title: Do Vision Foundation Models Enhance Domain Generalization in Medical Image Segmentation?
- Title(参考訳): ビジョンファウンデーションモデルは医用画像分割における領域の一般化を促進するか?
- Authors: Kerem Cekmeceli, Meva Himmetoglu, Guney I. Tombak, Anna Susmelj, Ertunc Erdil, Ender Konukoglu,
- Abstract要約: 本稿では,2つの最先端デコーダヘッドであるHSAMとHQSAMの要素を統合し,セグメンテーション性能を向上させる新しいデコーダヘッドアーキテクチャであるHQHSAMを紹介する。
種々の解剖学やモダリティを含む複数のデータセットに対する実験により,FM,特にHQHSAMデコードヘッドを用いて,医用画像分割のための領域一般化が向上したことが明らかとなった。
- 参考スコア(独自算出の注目度): 10.20366295974822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks achieve state-of-the-art performance in many supervised learning tasks when the training data distribution matches the test data distribution. However, their performance drops significantly under domain (covariate) shift, a prevalent issue in medical image segmentation due to varying acquisition settings across different scanner models and protocols. Recently, foundational models (FMs) trained on large datasets have gained attention for their ability to be adapted for downstream tasks and achieve state-of-the-art performance with excellent generalization capabilities on natural images. However, their effectiveness in medical image segmentation remains underexplored. In this paper, we investigate the domain generalization performance of various FMs, including DinoV2, SAM, MedSAM, and MAE, when fine-tuned using various parameter-efficient fine-tuning (PEFT) techniques such as Ladder and Rein (+LoRA) and decoder heads. We introduce a novel decode head architecture, HQHSAM, which simply integrates elements from two state-of-the-art decoder heads, HSAM and HQSAM, to enhance segmentation performance. Our extensive experiments on multiple datasets, encompassing various anatomies and modalities, reveal that FMs, particularly with the HQHSAM decode head, improve domain generalization for medical image segmentation. Moreover, we found that the effectiveness of PEFT techniques varies across different FMs. These findings underscore the potential of FMs to enhance the domain generalization performance of neural networks in medical image segmentation across diverse clinical settings, providing a solid foundation for future research. Code and models are available for research purposes at \url{https://github.com/kerem-cekmeceli/Foundation-Models-for-Medical-Imagery}.
- Abstract(参考訳): ニューラルネットワークは、トレーニングデータ分布がテストデータ分布と一致する場合、教師付き学習タスクの多くにおいて最先端のパフォーマンスを達成する。
しかし、その性能はドメイン(共変量)シフトの下で著しく低下し、様々なスキャナーモデルやプロトコル間での取得設定の違いにより、医用画像のセグメンテーションにおいて大きな問題となっている。
近年,大規模なデータセットでトレーニングされた基礎モデル (FM) は,下流タスクに適応し,自然画像に優れた一般化機能を持つ最先端のパフォーマンスを実現する能力に注目されている。
しかし, 医用画像のセグメンテーションにおける効果は未検討である。
本稿では,DinoV2,SAM,MedSAM,MAEなどの各種FMの領域一般化性能について,Ladder や Rein (+LoRA) やデコーダヘッドなどの各種パラメータ効率細調整(PEFT)技術を用いて微調整を行った。
本稿では,2つの最先端デコーダヘッドであるHSAMとHQSAMの要素を統合し,セグメンテーション性能を向上させる新しいデコーダヘッドアーキテクチャであるHQHSAMを紹介する。
様々な解剖学やモダリティを含む複数のデータセットに関する広範な実験により、FM、特にHQHSAMデコードヘッドは、医用画像分割のための領域一般化を改善することが判明した。
さらに,PEFT法の有効性はFMによって異なることがわかった。
これらの知見は、様々な臨床領域にわたる医用画像分割におけるニューラルネットワークの領域一般化性能を高めるためのFMの可能性を強調し、将来の研究の基盤となる。
コードとモデルは、研究目的のために \url{https://github.com/kerem-cekmeceli/Foundation-Models-for-Medical-Imagery} で利用可能である。
関連論文リスト
- Benchmarking Embedding Aggregation Methods in Computational Pathology: A Clinical Data Perspective [32.93871326428446]
人工知能(AI)の最近の進歩は、医療画像と計算病理に革命をもたらしている。
デジタル全スライド画像(WSI)の解析における一定の課題は、何万ものタイルレベルの画像埋め込みをスライドレベルの表現に集約する問題である。
本研究は,9つの臨床的課題を対象とした10種類のスライドレベルのアグリゲーション手法のベンチマーク分析を行った。
論文 参考訳(メタデータ) (2024-07-10T17:00:57Z) - Modality-agnostic Domain Generalizable Medical Image Segmentation by Multi-Frequency in Multi-Scale Attention [1.1155836879100416]
医用画像セグメンテーションのためのModality-Agnostic Domain Generalizable Network (MADGNet)を提案する。
MFMSAブロックは空間的特徴抽出の過程を洗練させる。
E-SDMは、深い監督を伴うマルチタスク学習における情報損失を軽減する。
論文 参考訳(メタデータ) (2024-05-10T07:34:36Z) - Generative Medical Segmentation [5.4613210257624605]
生成医療 (Generative Medical, GMS) は、生成モデルを利用して画像セグメンテーションを行う新しいアプローチである。
GMSは、画像とそれに対応する接地真実マスクの潜在表現を抽出するために、頑健な事前訓練された視覚基盤モデルを採用している。
GMSの設計により、モデルのトレーニング可能なパラメータが少なくなり、オーバーフィットのリスクが軽減され、その能力が向上する。
論文 参考訳(メタデータ) (2024-03-27T02:16:04Z) - Training Like a Medical Resident: Context-Prior Learning Toward Universal Medical Image Segmentation [38.61227663176952]
医用画像理解基盤モデルの構築を目的としたパラダイムであるユニバーサル・メディカルイメージ・セグメンテーションへのシフトを提案する。
医用画像セグメンテーションにおけるデータの異質性やアノテーションの違いに対処する新しい文脈優先学習手法であるHermesを開発した。
論文 参考訳(メタデータ) (2023-06-04T17:39:08Z) - Generalist Vision Foundation Models for Medical Imaging: A Case Study of
Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。
本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
論文 参考訳(メタデータ) (2023-04-25T08:07:59Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - Understanding the Tricks of Deep Learning in Medical Image Segmentation:
Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。
本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。
私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文 参考訳(メタデータ) (2022-09-21T12:30:05Z) - Domain Generalization on Medical Imaging Classification using Episodic
Training with Task Augmentation [62.49837463676111]
本稿では,医用画像分類におけるタスク強化によるエピソードトレーニングの新たな手法を提案する。
実際の医療展開において、限られた数のソースドメインによって動機付けられ、ユニークなタスクレベルのオーバーフィッティングを検討します。
論文 参考訳(メタデータ) (2021-06-13T03:56:59Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Domain Shift in Computer Vision models for MRI data analysis: An
Overview [64.69150970967524]
機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。
しかし、現在臨床応用はごくわずかである。
異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
論文 参考訳(メタデータ) (2020-10-14T16:34:21Z) - DoFE: Domain-oriented Feature Embedding for Generalizable Fundus Image
Segmentation on Unseen Datasets [96.92018649136217]
対象ドメインに対するCNNの一般化能力を向上させるために,新しいドメイン指向特徴埋め込み(DoFE)フレームワークを提案する。
私たちのDoFEフレームワークは、マルチソースドメインから学んだ追加のドメイン事前知識で、画像機能を動的に強化します。
本フレームワークは、未確認データセットのセグメンテーション結果を満足して生成し、他の領域の一般化やネットワークの正規化手法を超越する。
論文 参考訳(メタデータ) (2020-10-13T07:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。