論文の概要: How to build the best medical image segmentation algorithm using foundation models: a comprehensive empirical study with Segment Anything Model
- arxiv url: http://arxiv.org/abs/2404.09957v2
- Date: Mon, 13 May 2024 04:29:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 23:34:50.634140
- Title: How to build the best medical image segmentation algorithm using foundation models: a comprehensive empirical study with Segment Anything Model
- Title（参考訳）: 基礎モデルを用いた最良の医用画像分割アルゴリズムの構築--セグメンテーションモデルを用いた総合的研究
- Authors: Hanxue Gu, Haoyu Dong, Jichen Yang, Maciej A. Mazurowski,
- Abstract要約: この研究は、様々なバックボーンアーキテクチャ、モデルコンポーネント、および18の組み合わせにわたる微調整アルゴリズムによる既存の微調整戦略をまとめたものである。
一般的な放射線学のモダリティを網羅した17のデータセットで評価した。
コードとMRI特有の微調整ウェイトをリリースし、元のSAMよりも一貫して優れた性能を得た。
- 参考スコア（独自算出の注目度）: 12.051904886550956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated segmentation is a fundamental medical image analysis task, which enjoys significant advances due to the advent of deep learning. While foundation models have been useful in natural language processing and some vision tasks for some time, the foundation model developed with image segmentation in mind - Segment Anything Model (SAM) - has been developed only recently and has shown similar promise. However, there are still no systematic analyses or "best-practice" guidelines for optimal fine-tuning of SAM for medical image segmentation. This work summarizes existing fine-tuning strategies with various backbone architectures, model components, and fine-tuning algorithms across 18 combinations, and evaluates them on 17 datasets covering all common radiology modalities. Our study reveals that (1) fine-tuning SAM leads to slightly better performance than previous segmentation methods, (2) fine-tuning strategies that use parameter-efficient learning in both the encoder and decoder are superior to other strategies, (3) network architecture has a small impact on final performance, (4) further training SAM with self-supervised learning can improve final model performance. We also demonstrate the ineffectiveness of some methods popular in the literature and further expand our experiments into few-shot and prompt-based settings. Lastly, we released our code and MRI-specific fine-tuned weights, which consistently obtained superior performance over the original SAM, at https://github.com/mazurowski-lab/finetune-SAM.
- Abstract（参考訳）: 自動セグメンテーションは医用画像解析の基本的な課題であり、深層学習の出現による大きな進歩を享受している。
基礎モデルは、自然言語処理や視覚タスクにおいてしばらくは有用であったが、イメージセグメンテーションを念頭に開発された基礎モデルは、SAM(Seegment Anything Model)と呼ばれるもので、最近になって開発され、同様の可能性を示している。
しかし, SAMを医用画像分割に最適に微調整するための体系的分析や「ベストプラクティス」ガイドラインはいまだに存在しない。
この研究は、様々なバックボーンアーキテクチャ、モデルコンポーネント、および18の組み合わせにわたる微調整アルゴリズムによる既存の微調整戦略を要約し、すべての一般的な放射線学のモダリティをカバーする17のデータセットで評価する。
本研究は,(1)細調整SAMが従来のセグメンテーション法よりも若干優れた性能をもたらすこと,(2)エンコーダとデコーダの両方でパラメータ効率のよい学習手法が優れていること,(3)ネットワークアーキテクチャが最終性能に小さな影響を与えていること,(4)自己教師型学習によるSAMのさらなるトレーニングが最終モデル性能を向上させることを明らかにした。
また,本研究で広く普及しているいくつかの手法の非効率性を実証し,実験をいくつかのショットとプロンプトベースの設定に拡張した。
最後に、私たちのコードとMRI固有の微調整ウェイトをリリースし、オリジナルのSAMよりも一貫して優れたパフォーマンスを得た。
関連論文リスト
- Exploiting the Segment Anything Model (SAM) for Lung Segmentation in Chest X-ray Images [0.8192907805418583]
Segment Anything Model (SAM) は、ある画像内の個々のオブジェクトを意味論的解釈によって識別し、分離するために設計された野心的なツールである。
何人かの研究者が、この領域のパフォーマンスを評価するために、このモデルを医療画像上でテストし始めた。
本研究は胸部X線画像の評価と研究にこの新技術を用いることを提案する。
論文 参考訳（メタデータ） (2024-11-05T12:54:01Z) - PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - Unleashing the Power of Generic Segmentation Models: A Simple Baseline for Infrared Small Target Detection [57.666055329221194]
本稿では,Segment Anything Model (SAM) などのジェネリックセグメンテーションモデルの赤外線小物体検出タスクへの適応について検討する。
提案モデルでは,既存の手法と比較して,精度とスループットの両方で性能が大幅に向上した。
論文 参考訳（メタデータ） (2024-09-07T05:31:24Z) - Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。
我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。
医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
論文 参考訳（メタデータ） (2024-06-03T03:16:25Z) - MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。
3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
論文 参考訳（メタデータ） (2024-03-29T15:59:11Z) - Diagonal Hierarchical Consistency Learning for Semi-supervised Medical Image Segmentation [0.0]
対角的階層的整合学習(DiHC-Net)を用いた半教師付き医用画像セグメンテーションのための新しい枠組みを提案する。
同一のマルチスケールアーキテクチャを持つが、アップサンプリング層や正規化層のような異なるサブレイヤを持つ複数のサブモデルで構成されている。
簡単なフレームワークの有効性を検証する一連の実験は、臓器と腫瘍をカバーする公開ベンチマークデータセットにおいて、これまでのすべてのアプローチより優れている。
論文 参考訳（メタデータ） (2023-11-10T12:38:16Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳（メタデータ） (2023-09-16T02:41:53Z) - Cheap Lunch for Medical Image Segmentation by Fine-tuning SAM on Few
Exemplars [19.725817146049707]
Segment Anything Model (SAM) はスケールアップセグメンテーションモデルの顕著な機能を示した。
しかし, 医療領域における基礎モデルの導入は, 十分なデータのラベル付けが困難で費用がかかるため, 課題となっている。
本稿では,限られた数の例を用いてSAMを微調整するための効率的かつ実用的な手法を提案する。
論文 参考訳（メタデータ） (2023-08-27T15:21:25Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - Zero-shot performance of the Segment Anything Model (SAM) in 2D medical
imaging: A comprehensive evaluation and practical guidelines [0.13854111346209866]
Segment Anything Model (SAM)は、大規模なトレーニングデータセットを使用して、ほぼすべてのオブジェクトをセグメント化する。
この結果から,SAMのゼロショット性能は,現在の最先端技術に匹敵するものであることが判明した。
我々は、一貫して堅牢な結果をもたらしながら、最小限の相互作用を必要とする実践的ガイドラインを提案する。
論文 参考訳（メタデータ） (2023-04-28T22:07:24Z) - Understanding the Tricks of Deep Learning in Medical Image Segmentation:
Challenges and Future Directions [66.40971096248946]
本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。
本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。
私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
論文 参考訳（メタデータ） (2022-09-21T12:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。