論文の概要: DeSAM: Decoupled Segment Anything Model for Generalizable Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2306.00499v2
• Date: Tue, 9 Jul 2024 05:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 00:40:48.415618
• Title: DeSAM: Decoupled Segment Anything Model for Generalizable Medical Image Segmentation
• Title（参考訳）: DeSAM: 一般化可能な医用画像セグメンテーションのための分離セグメントモデル
• Authors: Yifan Gao, Wei Xia, Dingdu Hu, Wenkui Wang, Xin Gao,
• Abstract要約: Segment Anything Model (SAM) は、医用画像セグメンテーションのクロスドメインロバスト性を改善する可能性を示している。 SAMは手動でトリガーする時よりも、自動セグメンテーションのシナリオで大幅にパフォーマンスが低下する。 Decoupled SAMはSAMのマスクデコーダを2つの新しいモジュールを導入して変更する。
• 参考スコア（独自算出の注目度）: 22.974876391669685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based medical image segmentation models often suffer from domain shift, where the models trained on a source domain do not generalize well to other unseen domains. As a prompt-driven foundation model with powerful generalization capabilities, the Segment Anything Model (SAM) shows potential for improving the cross-domain robustness of medical image segmentation. However, SAM performs significantly worse in automatic segmentation scenarios than when manually prompted, hindering its direct application to domain generalization. Upon further investigation, we discovered that the degradation in performance was related to the coupling effect of inevitable poor prompts and mask generation. To address the coupling effect, we propose the Decoupled SAM (DeSAM). DeSAM modifies SAM's mask decoder by introducing two new modules: a prompt-relevant IoU module (PRIM) and a prompt-decoupled mask module (PDMM). PRIM predicts the IoU score and generates mask embeddings, while PDMM extracts multi-scale features from the intermediate layers of the image encoder and fuses them with the mask embeddings from PRIM to generate the final segmentation mask. This decoupled design allows DeSAM to leverage the pre-trained weights while minimizing the performance degradation caused by poor prompts. We conducted experiments on publicly available cross-site prostate and cross-modality abdominal image segmentation datasets. The results show that our DeSAM leads to a substantial performance improvement over previous state-of-theart domain generalization methods. The code is publicly available at https://github.com/yifangao112/DeSAM.
• Abstract（参考訳）: 深層学習に基づく医療画像セグメンテーションモデルは、ソースドメインでトレーニングされたモデルは、他の見えないドメインにうまく一般化しないため、ドメインシフトに悩まされることが多い。 強力な一般化能力を持つプロンプト駆動基盤モデルとして、SAM(Segment Anything Model)は、医用画像セグメンテーションのクロスドメインロバスト性を改善する可能性を示している。 しかし、SAMは手動で引き起こされた場合よりも自動セグメンテーションのシナリオでは著しくパフォーマンスが悪く、ドメインの一般化への直接の応用を妨げている。 さらなる調査の結果,性能劣化は避けられない不適切なプロンプトとマスク生成の結合効果と関連していることがわかった。 この結合効果に対処するために,Decoupled SAM (DeSAM)を提案する。 DeSAMは、プロンプト関連IoUモジュール(PRIM)とプロンプト分離マスクモジュール(PDMM)の2つの新しいモジュールを導入することでSAMのマスクデコーダを変更する。 PRIMはIoUスコアを予測してマスク埋め込みを生成し、PDMMは画像エンコーダの中間層からマルチスケールの特徴を抽出し、PRIMのマスク埋め込みと融合して最終セグメンテーションマスクを生成する。 この分離された設計により、DeSAMはトレーニング済みの重みを活用でき、プロンプトの低さによる性能劣化を最小限に抑えることができる。 前立腺および腹腔内画像分割データセットの公開実験を行った。 その結果,DeSAMは従来の最先端領域の一般化手法よりも大幅に性能が向上していることがわかった。 コードはhttps://github.com/yifangao112/DeSAMで公開されている。

関連論文リスト

• Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
  Segment Anything Model (SAM) は、その顕著な一般化能力により、異常セグメンテーションタスクにおいて大きな進歩を遂げている。 SAMを直接適用する既存のメソッドは、しばしばドメインシフトの問題を見落としている。 本稿では, SAMの異常セグメンテーションに対する知覚能力を高めることを目的とした, 自己パーセプティノンチューニング(SPT)手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:33:25Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• Prompting Segment Anything Model with Domain-Adaptive Prototype for Generalizable Medical Image Segmentation [49.5901368256326]
  医用画像のセグメンテーションにおけるセグメンテーションモデル(DAPSAM)の微調整のための新しいドメイン適応型プロンプトフレームワークを提案する。 DAPSAMは,2つの医療画像分割タスクにおいて,異なるモダリティで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-19T07:28:33Z)
• Tuning a SAM-Based Model with Multi-Cognitive Visual Adapter to Remote Sensing Instance Segmentation [4.6570959687411975]
  Segment Anything Model (SAM) は例外的な一般化能力を示す。 SAMは大規模なリモートセンシング画像の事前トレーニングを欠いているため、インタラクティブな構造は自動マスク予測能力を制限している。 マルチ認知SAMベースインスタンスモデル (MC-SAM SEG) を導入し, リモートセンシング領域にSAMを採用する。 MC-SAM SEG と呼ばれる提案手法は,SAM-Mona エンコーダの微調整と特徴アグリゲータによって高品質な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-08-16T07:23:22Z)
• ProtoSAM: One-Shot Medical Image Segmentation With Foundational Models [29.781228739479893]
  ProtoSAMは、ワンショットの医療画像セグメンテーションのための新しいフレームワークである。 これは、数ショットセグメンテーションで知られているプロトタイプネットワークと、自然画像基盤モデルSAMの併用である。
  論文  参考訳（メタデータ） (2024-07-09T17:04:08Z)
• ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
  SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。 SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。 CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
  論文  参考訳（メタデータ） (2024-06-30T14:55:32Z)
• MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
  そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。 本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
  論文  参考訳（メタデータ） (2024-04-24T07:38:14Z)
• Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
  本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。 初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。 我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
  論文  参考訳（メタデータ） (2024-03-27T05:55:16Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• From Generalization to Precision: Exploring SAM for Tool Segmentation in Surgical Environments [7.01085327371458]
  セグメンテーションモデルでは, 汚損レベルの高い画像が大幅に過大評価され, 性能が低下する。 我々は,最高の単一マスクを予測として選択した場合のSAMの結果を分析するために,接地型ツールマスクを用いている。 本研究では,様々な強みの合成汚損データを用いて,Endovis18とEndovis17の計器セグメンテーションデータセットを解析した。
  論文  参考訳（メタデータ） (2024-02-28T01:33:49Z)
• AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt Encoder [101.28268762305916]
  この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。 複数の医用画像とビデオのベンチマークで最先端の結果を得る。 内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
  論文  参考訳（メタデータ） (2023-06-10T07:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。