論文の概要: Robust Box Prompt based SAM for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2407.21284v1
- Date: Wed, 31 Jul 2024 02:16:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 19:04:58.100732
- Title: Robust Box Prompt based SAM for Medical Image Segmentation
- Title(参考訳): ロバストボックスプロンプトを用いた医用画像セグメンテーションのためのSAM
- Authors: Yuhao Huang, Xin Yang, Han Zhou, Yan Cao, Haoran Dou, Fajin Dong, Dong Ni,
- Abstract要約: 本稿では,新しいロバストボックスプロンプトベースのSAM(textbfRoBox-SAM)を提案する。
まず、潜在的なターゲットを暗黙的に知覚するプロンプト改良モジュールを提案し、オフセットを出力し、低品質のボックスプロンプトを高品質なプロンプトに変換する。
第2に,プロンプト拡張モジュールを導入し,ポイントプロンプトを自動生成し,ボックスプロンプト可能なセグメンテーションを効果的に支援する。
- 参考スコア(独自算出の注目度): 13.123657825272916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Segment Anything Model (SAM) can achieve satisfactory segmentation performance under high-quality box prompts. However, SAM's robustness is compromised by the decline in box quality, limiting its practicality in clinical reality. In this study, we propose a novel Robust Box prompt based SAM (\textbf{RoBox-SAM}) to ensure SAM's segmentation performance under prompts with different qualities. Our contribution is three-fold. First, we propose a prompt refinement module to implicitly perceive the potential targets, and output the offsets to directly transform the low-quality box prompt into a high-quality one. We then provide an online iterative strategy for further prompt refinement. Second, we introduce a prompt enhancement module to automatically generate point prompts to assist the box-promptable segmentation effectively. Last, we build a self-information extractor to encode the prior information from the input image. These features can optimize the image embeddings and attention calculation, thus, the robustness of SAM can be further enhanced. Extensive experiments on the large medical segmentation dataset including 99,299 images, 5 modalities, and 25 organs/targets validated the efficacy of our proposed RoBox-SAM.
- Abstract(参考訳): SAM(Segment Anything Model)は、高品質なボックスプロンプト下での良好なセグメンテーション性能を実現する。
しかし、SAMの堅牢性はボックス品質の低下によって損なわれ、臨床における実用性は制限されている。
本研究では,新しいロバストボックスプロンプト SAM (\textbf{RoBox-SAM}) を提案する。
私たちの貢献は3倍です。
まず、潜在的なターゲットを暗黙的に知覚するプロンプト改良モジュールを提案し、オフセットを出力して、低品質のボックスプロンプトを直接高品質のプロンプトに変換する。
そして、さらなる改善を迅速にするためのオンライン反復戦略を提供します。
第2に,プロンプト拡張モジュールを導入し,ポイントプロンプトを自動生成し,ボックスプロンプト可能なセグメンテーションを効果的に支援する。
最後に,入力画像から先行情報をエンコードする自己情報抽出器を構築する。
これらの特徴は画像埋め込みと注意計算を最適化することができ、SAMの堅牢性をさらに強化することができる。
99,299枚の画像,5つのモダリティ,25個の臓器/ターゲットを含む大規模医療セグメント化データセットの大規模な実験により,提案したRoBox-SAMの有効性が検証された。
関連論文リスト
- AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳(メタデータ) (2024-06-01T16:21:39Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳(メタデータ) (2024-04-24T07:38:14Z) - Performance Evaluation of Segment Anything Model with Variational Prompting for Application to Non-Visible Spectrum Imagery [15.748043194987075]
この研究は、X線/赤外線モダリティに関心のあるオブジェクトのセグメンテーションにおけるセグメンション・任意のモデル機能を評価する。
提案手法は,ボックスプロンプトが与えられた場合,SAMはオブジェクトをX線モードで分割できるが,その性能は点プロンプトによって異なる。
このモダリティの低コントラストの性質を考えると、赤外線オブジェクトもポイントプロンプトでセグメント化することが困難である。
論文 参考訳(メタデータ) (2024-04-18T16:04:14Z) - WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳(メタデータ) (2024-03-14T10:30:43Z) - EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM [71.868623296582]
EdgeSAMはSegment Anything Model (SAM)の高速化版である。
我々のアプローチは、VTベースのSAMイメージエンコーダを純粋にCNNベースのアーキテクチャに蒸留することである。
これは、iPhone 14で30FPS以上で動作可能なSAMの最初の派生機種である。
論文 参考訳(メタデータ) (2023-12-11T18:59:52Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳(メタデータ) (2023-12-06T17:19:00Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳(メタデータ) (2023-11-27T12:51:42Z) - Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification [19.190346406238444]
本稿では,医用画像の自動セグメント化の信頼性を高めるため,不確かさを補正したSAMフレームワークUR-SAMを提案する。
提案手法では,不確実性評価のためのSAMの一連のインプットプロンプトを得るためのプロンプト拡張モジュールと,推定不確実性の分布をさらに活用してセグメンテーション性能を向上させるための不確実性修正モジュールを組み込んだ。
論文 参考訳(メタデータ) (2023-11-17T13:49:00Z) - How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。
しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。
本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
論文 参考訳(メタデータ) (2023-06-23T18:34:30Z) - AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt
Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。
複数の医用画像とビデオのベンチマークで最先端の結果を得る。
内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文 参考訳(メタデータ) (2023-06-10T07:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。