論文の概要: CC-SAM: SAM with Cross-feature Attention and Context for Ultrasound Image Segmentation
- arxiv url: http://arxiv.org/abs/2408.00181v1
- Date: Wed, 31 Jul 2024 22:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 22:16:07.654795
- Title: CC-SAM: SAM with Cross-feature Attention and Context for Ultrasound Image Segmentation
- Title（参考訳）: CC-SAM:超音波画像セグメンテーションのためのクロスフィーチャーアテンションとコンテキスト付きSAM
- Authors: Shreyank N Gowda, David A. Clifton,
- Abstract要約: Segment Anything Model (SAM) は、自然画像のセグメンテーションの領域で顕著な成功を収めた。
SAMは、低コントラスト、かすかな境界、複雑な形態、そして小さなサイズの物体を特徴とする医療画像に苦しむ。
医療領域におけるSAMの性能を高めるために,包括的修正を導入する。
- 参考スコア（独自算出の注目度）: 20.448864959103858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Segment Anything Model (SAM) has achieved remarkable successes in the realm of natural image segmentation, but its deployment in the medical imaging sphere has encountered challenges. Specifically, the model struggles with medical images that feature low contrast, faint boundaries, intricate morphologies, and small-sized objects. To address these challenges and enhance SAM's performance in the medical domain, we introduce a comprehensive modification. Firstly, we incorporate a frozen Convolutional Neural Network (CNN) branch as an image encoder, which synergizes with SAM's original Vision Transformer (ViT) encoder through a novel variational attention fusion module. This integration bolsters the model's capability to capture local spatial information, which is often paramount in medical imagery. Moreover, to further optimize SAM for medical imaging, we introduce feature and position adapters within the ViT branch, refining the encoder's representations. We see that compared to current prompting strategies to fine-tune SAM for ultrasound medical segmentation, the use of text descriptions that serve as text prompts for SAM helps significantly improve the performance. Leveraging ChatGPT's natural language understanding capabilities, we generate prompts that offer contextual information and guidance to SAM, enabling it to better understand the nuances of ultrasound medical images and improve its segmentation accuracy. Our method, in its entirety, represents a significant stride towards making universal image segmentation models more adaptable and efficient in the medical domain.
- Abstract（参考訳）: SAM(Segment Anything Model)は、自然画像のセグメンテーションの領域で顕著な成功を収めてきたが、医療画像分野への展開は課題に直面している。
特に、このモデルは、低コントラスト、薄暗い境界、複雑な形態、そして小さなサイズの物体を特徴とする医療画像に苦しむ。
これらの課題に対処し,医療領域におけるSAMの性能を高めるために,包括的修正を導入する。
まず、フリーズした畳み込みニューラルネットワーク(CNN)をイメージエンコーダとして組み込み、SAMのオリジナルのビジョントランスフォーマー(ViT)エンコーダを新しい可変注意融合モジュールを介してシナジする。
この統合は、しばしば医療画像において最重要となる局所的な空間情報をキャプチャするモデルの能力を後押しする。
さらに,医療画像のSAMをさらに最適化するために,VTブランチ内の特徴と位置のアダプタを導入し,エンコーダの表現を精査する。
超音波医用セグメンテーションにおいてSAMを微調整する現在のプロンプトと比べ,SAMのテキストプロンプトとして機能するテキスト記述の使用は,パフォーマンスを著しく向上させる。
ChatGPTの自然言語理解機能を活用して、SAMにコンテキスト情報とガイダンスを提供するプロンプトを生成し、超音波医療画像のニュアンスをよりよく理解し、セグメンテーション精度を向上させる。
本手法は, 医用領域において, 画像分割モデルをより適応し, 効率的にするための重要な一歩である。
関連論文リスト
- DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。
文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文 参考訳（メタデータ） (2024-10-05T14:36:43Z) - Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。
我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。
医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
論文 参考訳（メタデータ） (2024-06-03T03:16:25Z) - Ultrasound SAM Adapter: Adapting SAM for Breast Lesion Segmentation in Ultrasound Images [8.495954318776139]
Segment Anything Model (SAM)は、最近、自然画像セグメンテーションの分野で驚くべき成果を上げている。
本稿では,主に超音波画像のセグメンテーションに焦点を当てる。
乳房超音波Segment Anything Model (BUSSAM) と呼ばれる新しい乳房超音波SAMアダプタを開発した。
論文 参考訳（メタデータ） (2024-04-23T08:43:32Z) - Multi-Prompt Fine-Tuning of Foundation Models for Enhanced Medical Image
Segmentation [10.946806607643689]
Segment Anything Model (SAM) は、自然画像セグメンテーションの革命的進歩を導入した強力な基礎モデルである。
本研究では,SAMのイメージ毎に複数のプロンプトをバンドルして処理する機能を活用した,新しい微調整フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-03T19:05:00Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳（メタデータ） (2023-09-16T02:41:53Z) - Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting [10.308637269138146]
超音波画像分割に適したユニバーサルモデルとしてSAMUSを提案する。
さらに、AutoSAMUSと表記されるエンドツーエンドで動作できるようにします。
AutoSAMUSは、SAMUSのマニュアルプロンプトエンコーダを置き換えるために自動プロンプトジェネレータ(APG)を導入することで実現されている。
論文 参考訳（メタデータ） (2023-09-13T09:15:20Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳（メタデータ） (2023-06-10T07:27:00Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z) - Segment Anything Model for Medical Image Analysis: an Experimental Study [19.95972201734614]
Segment Anything Model (SAM) は、ユーザ定義オブジェクトをインタラクティブな方法でセグメント化する基礎モデルである。
SAMの医用画像の分類能力について,各種のモダリティと解剖から,19の医用画像データセットの集合体を用いて評価した。
論文 参考訳（メタデータ） (2023-04-20T17:50:18Z) - TransUNet: Transformers Make Strong Encoders for Medical Image
Segmentation [78.01570371790669]
医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。
様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。
医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
論文 参考訳（メタデータ） (2021-02-08T16:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。