論文の概要: Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting
- arxiv url: http://arxiv.org/abs/2309.06824v2
- Date: Mon, 8 Jul 2024 03:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 03:28:33.933673
- Title: Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting
- Title（参考訳）: SAMの適応を超えて:オートプロンプティングによる終端から終端への超音波画像分割
- Authors: Xian Lin, Yangyang Xiang, Li Yu, Zengqiang Yan,
- Abstract要約: 超音波画像分割に適したユニバーサルモデルとしてSAMUSを提案する。
さらに、AutoSAMUSと表記されるエンドツーエンドで動作できるようにします。
AutoSAMUSは、SAMUSのマニュアルプロンプトエンコーダを置き換えるために自動プロンプトジェネレータ(APG)を導入することで実現されている。
- 参考スコア（独自算出の注目度）: 10.308637269138146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: End-to-end medical image segmentation is of great value for computer-aided diagnosis dominated by task-specific models, usually suffering from poor generalization. With recent breakthroughs brought by the segment anything model (SAM) for universal image segmentation, extensive efforts have been made to adapt SAM for medical imaging but still encounter two major issues: 1) severe performance degradation and limited generalization without proper adaptation, and 2) semi-automatic segmentation relying on accurate manual prompts for interaction. In this work, we propose SAMUS as a universal model tailored for ultrasound image segmentation and further enable it to work in an end-to-end manner denoted as AutoSAMUS. Specifically, in SAMUS, a parallel CNN branch is introduced to supplement local information through cross-branch attention, and a feature adapter and a position adapter are jointly used to adapt SAM from natural to ultrasound domains while reducing training complexity. AutoSAMUS is realized by introducing an auto prompt generator (APG) to replace the manual prompt encoder of SAMUS to automatically generate prompt embeddings. A comprehensive ultrasound dataset, comprising about 30k images and 69k masks and covering six object categories, is collected for verification. Extensive comparison experiments demonstrate the superiority of SAMUS and AutoSAMUS against the state-of-the-art task-specific and SAM-based foundation models. We believe the auto-prompted SAM-based model has the potential to become a new paradigm for end-to-end medical image segmentation and deserves more exploration. Code and data are available at https://github.com/xianlin7/SAMUS.
- Abstract（参考訳）: エンド・ツー・エンドの医療画像セグメンテーションは、コンピュータ支援診断において、通常、一般化不良に悩まされるタスク固有モデルに支配される大きな価値がある。
画像分割のためのセグメンテーションモデル(SAM)による近年のブレークスルーにより、SAMを医用画像に適応させる大規模な取り組みが行われたが、依然として2つの大きな問題に遭遇している。
1)厳格な性能劣化と適正な適応を伴わない限定的な一般化
2) インタラクションの正確なマニュアルプロンプトに依存する半自動セグメンテーション。
本研究では,超音波画像分割に適したユニバーサルモデルとしてSAMUSを提案する。
具体的には、SAMUSでは、クロスブランチアテンションを介して局所情報を補うために並列CNNブランチを導入し、訓練の複雑さを低減しつつ、SAMを自然領域から超音波領域に適応させるために特徴アダプタと位置アダプタを併用する。
AutoSAMUSは、SAMUSのマニュアルプロンプトエンコーダの代わりに自動プロンプトジェネレータ(APG)を導入して、プロンプト埋め込みを自動的に生成することで実現されている。
約30k画像と69kマスクから構成され、6つの対象カテゴリをカバーする総合的な超音波データセットを収集し、検証を行う。
大規模な比較実験は、SAMUSとAutoSAMUSの最先端タスク固有およびSAMベース基盤モデルに対する優位性を実証している。
自動プロンプトSAMベースのモデルは、エンド・ツー・エンドの医療画像セグメンテーションの新たなパラダイムになる可能性があり、もっと探究する価値があると考えています。
コードとデータはhttps://github.com/xianlin7/SAMUSで公開されている。
関連論文リスト
- Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。
我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。
医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
論文 参考訳（メタデータ） (2024-06-03T03:16:25Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳（メタデータ） (2024-04-24T07:38:14Z) - Ultrasound SAM Adapter: Adapting SAM for Breast Lesion Segmentation in Ultrasound Images [8.495954318776139]
Segment Anything Model (SAM)は、最近、自然画像セグメンテーションの分野で驚くべき成果を上げている。
本稿では,主に超音波画像のセグメンテーションに焦点を当てる。
乳房超音波Segment Anything Model (BUSSAM) と呼ばれる新しい乳房超音波SAMアダプタを開発した。
論文 参考訳（メタデータ） (2024-04-23T08:43:32Z) - Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。
初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。
我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
論文 参考訳（メタデータ） (2024-03-27T05:55:16Z) - SAMCT: Segment Any CT Allowing Labor-Free Task-Indicator Prompts [28.171383990186904]
我々は、公開データセットから1.1MのCT画像と5Mのマスクからなる大規模なCTデータセットを構築した。
我々は、労働自由なプロンプトを可能にする強力な基盤モデルSAMCTを提案する。
SAMに基づいてSAMCTはさらに、CNNイメージエンコーダ、クロスブランチインタラクションモジュール、タスクインディケータプロンプトエンコーダを備えている。
論文 参考訳（メタデータ） (2024-03-20T02:39:15Z) - SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。
具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。
また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文 参考訳（メタデータ） (2023-08-17T02:51:01Z) - AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene
Segmentation [49.59991322513561]
本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。
AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。
実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-08-07T17:12:54Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳（メタデータ） (2023-06-10T07:27:00Z) - Customized Segment Anything Model for Medical Image Segmentation [10.933449793055313]
我々は,大規模画像分割モデルであるSAM(Segment Anything Model)に基づいて,医用画像分割のための大規模モデルをカスタマイズする新たな研究パラダイムを探求する。
SAMedは、SAMイメージエンコーダにローランクベース(LoRA)ファインタニング戦略を適用し、ラベル付き医用画像セグメンテーションデータセットにプロンプトエンコーダとマスクデコーダを併用する。
我々の訓練されたSAMedモデルは,最先端の手法に匹敵する医用画像のセマンティックセグメンテーションを実現する。
論文 参考訳（メタデータ） (2023-04-26T19:05:34Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。