論文の概要: SEG-SAM: Semantic-Guided SAM for Unified Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2412.12660v1
- Date: Tue, 17 Dec 2024 08:29:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:46.657074
- Title: SEG-SAM: Semantic-Guided SAM for Unified Medical Image Segmentation
- Title（参考訳）: SEG-SAM: 医用画像統合のためのセマンティックガイドSAM
- Authors: Shuangping Huang, Hao Liang, Qingfeng Wang, Chulong Zhong, Zijian Zhou, Miaojing Shi,
- Abstract要約: 本稿ではセマンティックガイドSAM(SEG-SAM)を提案する。
まず、バイナリとセマンティック予測の潜在的な衝突を避けるために、SAMの元々のデコーダとは独立にセマンティック・アウェア・デコーダを導入する。
我々は、大規模言語モデルから医療カテゴリーの重要な特徴を抽出し、テキスト・ツー・ビジョン・セマンティック・モジュールを通じてSEG-SAMに組み込む。
最後に、SEG-SAMの2つのデコーダから予測されたマスク間の重なり合いを促進するために、マスク間空間アライメント戦略を導入する。
- 参考スコア（独自算出の注目度）: 13.037264314135033
- License:
- Abstract: Recently, developing unified medical image segmentation models gains increasing attention, especially with the advent of the Segment Anything Model (SAM). SAM has shown promising binary segmentation performance in natural domains, however, transferring it to the medical domain remains challenging, as medical images often possess substantial inter-category overlaps. To address this, we propose the SEmantic-Guided SAM (SEG-SAM), a unified medical segmentation model that incorporates semantic medical knowledge to enhance medical segmentation performance. First, to avoid the potential conflict between binary and semantic predictions, we introduce a semantic-aware decoder independent of SAM's original decoder, specialized for both semantic segmentation on the prompted object and classification on unprompted objects in images. To further enhance the model's semantic understanding, we solicit key characteristics of medical categories from large language models and incorporate them into SEG-SAM through a text-to-vision semantic module, adaptively transferring the language information into the visual segmentation task. In the end, we introduce the cross-mask spatial alignment strategy to encourage greater overlap between the predicted masks from SEG-SAM's two decoders, thereby benefiting both predictions. Extensive experiments demonstrate that SEG-SAM outperforms state-of-the-art SAM-based methods in unified binary medical segmentation and task-specific methods in semantic medical segmentation, showcasing promising results and potential for broader medical applications.
- Abstract（参考訳）: 近年,Segment Anything Model(SAM)の出現に伴い,統合医療画像セグメンテーションモデルの開発が注目されている。
SAMは、自然領域において有望なバイナリセグメンテーション性能を示してきたが、医療領域への転送は依然として困難であり、医療領域間の重複がかなり大きいことが多い。
そこで我々は,セマンティックガイドSAM (SEG-SAM) を提案する。セマンティックガイドSAM (SEG-SAM) は,セマンティックガイドSAM (SEG-SAM) とセマンティックガイドSAM (Semantic-Guided SAM) を統合した医療セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・モデルである。
まず、バイナリとセマンティックな予測の潜在的な衝突を避けるために、SAMの本来のデコーダとは独立にセマンティック・アウェアなデコーダを導入する。
モデルのセマンティック理解をさらに強化するため,大規模言語モデルから医療カテゴリの重要な特徴を抽出し,テキスト・ツー・ビジョン・セマンティック・モジュールを通じてSEG-SAMに組み込むことにより,言語情報を視覚的セマンティック・タスクに適応的に転送する。
最後に,SEG-SAMの2つのデコーダから予測されたマスク間の重なり合いを促進するために,マスク間空間アライメント戦略を導入する。
SEG-SAMは、統合された二項医療セグメンテーションや、セマンティック医療セグメンテーションにおけるタスク固有の手法において、最先端のSAMベースの手法よりも優れており、将来的な結果を示し、幅広い医療応用の可能性を示している。
関連論文リスト
- LIMIS: Towards Language-based Interactive Medical Image Segmentation [58.553786162527686]
LIMISは、最初の純粋言語に基づく対話型医療画像分割モデルである。
我々は、Grounded SAMを医療領域に適応させ、言語に基づくモデルインタラクション戦略を設計する。
LIMISを3つの公開医療データセット上で,パフォーマンスとユーザビリティの観点から評価した。
論文 参考訳（メタデータ） (2024-10-22T12:13:47Z) - DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。
文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文 参考訳（メタデータ） (2024-10-05T14:36:43Z) - Path-SAM2: Transfer SAM2 for digital pathology semantic segmentation [6.721564277355789]
Path-SAM2はSAM2モデルに初めて適応し,病的セマンティックセグメンテーションの課題に適応する。
病理組織学における最大の事前学習型視覚エンコーダ(UNI)とオリジナルのSAM2エンコーダを統合し,病理学に基づく事前知識を付加する。
3つの腺腫の病理データセットにおいて、Path-SAM2は最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-08-07T09:30:51Z) - Segment Anything Model for Medical Image Segmentation: Current
Applications and Future Directions [8.216028136706948]
最近のSAM(Segment Anything Model)の導入は、プロンプト駆動パラダイムのイメージセグメンテーション領域への注目すべき拡張を意味している。
本稿では,SAMの有効性を医療画像分割タスクに拡張するための最近の取り組みについて概観する。
医療画像セグメンテーションにおけるSAMの役割について,今後の研究の道筋を探る。
論文 参考訳（メタデータ） (2024-01-07T14:25:42Z) - I-MedSAM: Implicit Medical Image Segmentation with Segment Anything [24.04558900909617]
提案するI-MedSAMは、連続表現とSAMの両方の利点を利用して、クロスドメイン能力と正確な境界線を求める。
トレーニング可能なパラメータが1.6Mしかない提案手法は、離散的および暗黙的を含む既存の手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-28T00:43:52Z) - SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge
for Semi-Supervised Learning in Medical Image Segmentation [27.044797468878837]
Segment Anything Model (SAM)は、自然画像に広範囲のオブジェクトを分割する機能を示す。
本稿では、SAMとドメイン固有の知識を組み合わせて、ラベルなし画像の信頼性の高い利用法を提案する。
本研究は,医用画像セグメンテーションのための半教師あり学習の新たな方向性を創出する。
論文 参考訳（メタデータ） (2023-08-26T04:46:10Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳（メタデータ） (2023-07-10T17:59:40Z) - Towards Segment Anything Model (SAM) for Medical Image Segmentation: A
Survey [8.76496233192512]
本稿では,セグメンテーションモデルの成功を医療画像のセグメンテーションタスクに拡張する取り組みについて論じる。
医用画像解析の基礎モデルを開発するために、将来の研究を導くために多くの洞察が導かれる。
論文 参考訳（メタデータ） (2023-05-05T16:48:45Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳（メタデータ） (2023-01-12T08:19:46Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。