論文の概要: How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images
- arxiv url: http://arxiv.org/abs/2306.13731v1
- Date: Fri, 23 Jun 2023 18:34:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 19:40:41.730378
- Title: How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images
- Title（参考訳）: 医用画像に対する大規模セグメンテーションモデル(sam)の効率的適応法
- Authors: Xinrong Hu, Xiaowei Xu, and Yiyu Shi
- Abstract要約: Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。
しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。
本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
- 参考スコア（独自算出の注目度）: 15.181219203629643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emerging scale segmentation model, Segment Anything (SAM), exhibits
impressive capabilities in zero-shot segmentation for natural images. However,
when applied to medical images, SAM suffers from noticeable performance drop.
To make SAM a real ``foundation model" for the computer vision community, it is
critical to find an efficient way to customize SAM for medical image dataset.
In this work, we propose to freeze SAM encoder and finetune a lightweight
task-specific prediction head, as most of weights in SAM are contributed by the
encoder. In addition, SAM is a promptable model, while prompt is not
necessarily available in all application cases, and precise prompts for
multiple class segmentation are also time-consuming. Therefore, we explore
three types of prompt-free prediction heads in this work, include ViT, CNN, and
linear layers. For ViT head, we remove the prompt tokens in the mask decoder of
SAM, which is named AutoSAM. AutoSAM can also generate masks for different
classes with one single inference after modification. To evaluate the
label-efficiency of our finetuning method, we compare the results of these
three prediction heads on a public medical image segmentation dataset with
limited labeled data. Experiments demonstrate that finetuning SAM significantly
improves its performance on medical image dataset, even with just one labeled
volume. Moreover, AutoSAM and CNN prediction head also has better segmentation
accuracy than training from scratch and self-supervised learning approaches
when there is a shortage of annotations.
- Abstract（参考訳）: 新たなスケールセグメンテーションモデルであるSegment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示している。
しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。
SAMをコンピュータビジョンコミュニティの真の「基礎モデル」にするためには、SAMを医療画像データセットにカスタマイズする効率的な方法を見つけることが重要である。
本研究では,SAMエンコーダの重みの大部分をエンコーダが寄与するため,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
さらにSAMはプロンプト可能なモデルであり、すべてのアプリケーションケースでプロンプトが必ずしも利用可能ではなく、複数のクラスセグメンテーションの正確なプロンプトも時間を要する。
そこで本研究では,ViT,CNN,線形層を含む3種類のプロンプトフリー予測ヘッドについて検討する。
ViTヘッドの場合、SAMのマスクデコーダのプロンプトトークンを除去し、AutoSAMと命名する。
AutoSAMは変更後の1つの推論で、異なるクラスのマスクを生成することもできる。
本手法のラベル効率を評価するために,公開医用画像セグメンテーションデータセットにおける3つの予測ヘッドの結果を限定ラベルデータと比較した。
実験によると、samの微調整は、1つのラベル付きボリュームでも医療用画像データセットのパフォーマンスを大幅に向上させる。
さらに、AutoSAMとCNN予測ヘッドは、アノテーション不足時にスクラッチからのトレーニングや自己教師型学習アプローチよりもセグメンテーション精度が優れている。
関連論文リスト
- MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳（メタデータ） (2024-04-24T07:38:14Z) - Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。
初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。
我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
論文 参考訳（メタデータ） (2024-03-27T05:55:16Z) - MaskSAM: Towards Auto-prompt SAM with Mask Classification for Medical Image Segmentation [18.125292369318576]
MaskSAMは、医療画像セグメンテーションのためのマスク分類プロンプトフリー適応フレームワークである。
本手法は,AMOS2022,90.52%のDice上での最先端性能を実現し,nnUNetに比べて2.7%向上した。
論文 参考訳（メタデータ） (2024-03-21T03:28:24Z) - WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳（メタデータ） (2024-03-14T10:30:43Z) - Guided Prompting in SAM for Weakly Supervised Cell Segmentation in
Histopathological Images [27.14641973632063]
本稿では、セグメンタを誘導するために、関連するタスクからのアノテーションである弱い監視を使用することに焦点を当てる。
SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。
すべてのSAMベースのソリューションは、既存の弱教師付きイメージセグメンテーションモデルを大幅に上回り、9～15 ptのDiceゲインを得る。
論文 参考訳（メタデータ） (2023-11-29T11:18:48Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳（メタデータ） (2023-11-27T12:51:42Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳（メタデータ） (2023-09-16T02:41:53Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳（メタデータ） (2023-06-10T07:27:00Z) - Segment Anything in High Quality [116.39405160133315]
そこで本研究では,SAM のプロンプト可能な設計,効率,ゼロショットの一般化性を維持しつつ,任意のオブジェクトを正確にセグメント化できる HQ-SAM を提案する。
注意深い設計はSAMの事前訓練されたモデルの重みを再利用し、保存し、最小限の追加パラメータと計算しか導入しない。
ダウンストリームタスクにまたがる10種類のセグメンテーションデータセットでHQ-SAMの有効性を示し,そのうち8つをゼロショット転送プロトコルで評価した。
論文 参考訳（メタデータ） (2023-06-02T14:23:59Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳（メタデータ） (2023-05-04T17:59:36Z) - Customized Segment Anything Model for Medical Image Segmentation [10.933449793055313]
我々は,大規模画像分割モデルであるSAM(Segment Anything Model)に基づいて,医用画像分割のための大規模モデルをカスタマイズする新たな研究パラダイムを探求する。
SAMedは、SAMイメージエンコーダにローランクベース(LoRA)ファインタニング戦略を適用し、ラベル付き医用画像セグメンテーションデータセットにプロンプトエンコーダとマスクデコーダを併用する。
我々の訓練されたSAMedモデルは,最先端の手法に匹敵する医用画像のセマンティックセグメンテーションを実現する。
論文 参考訳（メタデータ） (2023-04-26T19:05:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。