論文の概要: DeSAM: Decoupling Segment Anything Model for Generalizable Medical Image
Segmentation
- arxiv url: http://arxiv.org/abs/2306.00499v1
- Date: Thu, 1 Jun 2023 09:49:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 17:12:53.392857
- Title: DeSAM: Decoupling Segment Anything Model for Generalizable Medical Image
Segmentation
- Title(参考訳): DeSAM: 一般的な医療画像セグメンテーションのためのセグメンテーションモデル
- Authors: Yifan Gao, Wei Xia, Dingdu Hu, Xin Gao
- Abstract要約: Segment Anything Model (SAM) は、医用画像セグメンテーションのクロスドメインロバスト性を改善する可能性を示している。
DeSAMはSAMのマスクデコーダを変更してマスク生成を分離し、事前訓練された重量を利用して埋め込みを促す。
その結果,DeSAMは従来の最先端領域一般化法と比較して平均8.96%改善した。
- 参考スコア(独自算出の注目度): 34.60048575512041
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning based automatic medical image segmentation models often suffer
from domain shift, where the models trained on a source domain do not
generalize well to other unseen domains. As a vision foundation model with
powerful generalization capabilities, Segment Anything Model (SAM) shows
potential for improving the cross-domain robustness of medical image
segmentation. However, SAM and its fine-tuned models performed significantly
worse in fully automatic mode compared to when given manual prompts. Upon
further investigation, we discovered that the degradation in performance was
related to the coupling effect of poor prompts and mask segmentation. In fully
automatic mode, the presence of inevitable poor prompts (such as points outside
the mask or boxes significantly larger than the mask) can significantly mislead
mask generation. To address the coupling effect, we propose the decoupling SAM
(DeSAM). DeSAM modifies SAM's mask decoder to decouple mask generation and
prompt embeddings while leveraging pre-trained weights. We conducted
experiments on publicly available prostate cross-site datasets. The results
show that DeSAM improves dice score by an average of 8.96% (from 70.06% to
79.02%) compared to previous state-of-the-art domain generalization method.
Moreover, DeSAM can be trained on personal devices with entry-level GPU since
our approach does not rely on tuning the heavyweight image encoder. The code is
publicly available at https://github.com/yifangao112/DeSAM.
- Abstract(参考訳): ディープラーニングベースの自動医療画像セグメンテーションモデルは、しばしばドメインシフトに苦しみ、ソースドメインでトレーニングされたモデルは、他の目に見えないドメインにうまく一般化しない。
強力な一般化機能を持つ視覚基盤モデルとして、SAM(Segment Anything Model)は、医用画像セグメンテーションのクロスドメインロバスト性を改善する可能性を示している。
しかし、SAMとその微調整されたモデルは、与えられた手動のプロンプトと比較して完全に自動モードで大幅に悪化した。
さらに調査した結果,性能劣化はプロンプトの低下とマスクセグメンテーションの結合効果に関係していることがわかった。
完全な自動モードでは、避けられない不適切なプロンプト(マスクの外の点やマスクよりもかなり大きい箱など)の存在はマスク生成を著しく誤解させる可能性がある。
結合効果に対処するために,デカップリングSAM(DeSAM)を提案する。
DeSAMはSAMのマスクデコーダを変更してマスク生成を分離し、事前訓練された重量を利用して埋め込みを促す。
前立腺クロスサイトデータセットの公開実験を行った。
その結果,DeSAMは従来の最先端領域一般化法と比較して平均8.96%(70.06%から79.02%)改善した。
さらに、当社のアプローチは重み付け画像エンコーダのチューニングに依存しないので、エントリーレベルのGPUを持つパーソナルデバイスでDeSAMをトレーニングすることができる。
コードはhttps://github.com/yifangao112/DeSAMで公開されている。
関連論文リスト
- WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小化しながら、事前学習した知識を完全に活用するために、SAMは凍結し、最小限の追加パラメータと計算を導入します。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳(メタデータ) (2024-03-14T10:30:43Z) - BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [69.85171104474558]
我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。
SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。
我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
論文 参考訳(メタデータ) (2024-01-04T15:34:44Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。
しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。
本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
論文 参考訳(メタデータ) (2023-06-23T18:34:30Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳(メタデータ) (2023-06-10T07:27:00Z) - Segment Anything in High Quality [116.39405160133315]
そこで本研究では,SAM のプロンプト可能な設計,効率,ゼロショットの一般化性を維持しつつ,任意のオブジェクトを正確にセグメント化できる HQ-SAM を提案する。
注意深い設計はSAMの事前訓練されたモデルの重みを再利用し、保存し、最小限の追加パラメータと計算しか導入しない。
ダウンストリームタスクにまたがる10種類のセグメンテーションデータセットでHQ-SAMの有効性を示し,そのうち8つをゼロショット転送プロトコルで評価した。
論文 参考訳(メタデータ) (2023-06-02T14:23:59Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳(メタデータ) (2023-05-04T17:59:36Z) - Customized Segment Anything Model for Medical Image Segmentation [10.933449793055313]
我々は,大規模画像分割モデルであるSAM(Segment Anything Model)に基づいて,医用画像分割のための大規模モデルをカスタマイズする新たな研究パラダイムを探求する。
SAMedは、SAMイメージエンコーダにローランクベース(LoRA)ファインタニング戦略を適用し、ラベル付き医用画像セグメンテーションデータセットにプロンプトエンコーダとマスクデコーダを併用する。
我々の訓練されたSAMedモデルは,最先端の手法に匹敵する医用画像のセマンティックセグメンテーションを実現する。
論文 参考訳(メタデータ) (2023-04-26T19:05:34Z) - Input Augmentation with SAM: Boosting Medical Image Segmentation with
Segmentation Foundation Model [36.015065439244495]
Segment Anything Model (SAM) はコンピュータビジョンタスクのための汎用セグメンテーションのための大規模モデルである。
SAMは100万枚の画像と10億枚以上のマスクを使って訓練され、自然の風景画像に広範囲のオブジェクトのセグメンテーション結果を生成することができる。
本報告では,SAMは医用画像データに高品質なセグメンテーションを提供していないが,その生成マスク,特徴,安定性スコアは,より優れた医用画像セグメンテーションモデルの構築と訓練に有用であることを示す。
論文 参考訳(メタデータ) (2023-04-22T07:11:53Z) - Vision Transformers Are Good Mask Auto-Labelers [100.72155356710914]
視覚変換器はマスク自動標識器として優れていることを示す。
MALはボックスクロッピングされた画像を入力として取り、マスクの擬似ラベルを条件付きで生成する。
MAL生成マスクを使用してトレーニングされたインスタンスセグメンテーションモデルは、完全に教師されたマスクのパフォーマンスとほぼ一致する。
論文 参考訳(メタデータ) (2023-01-10T18:59:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。