論文の概要: Automating MedSAM by Learning Prompts with Weak Few-Shot Supervision

• arxiv url: http://arxiv.org/abs/2409.20293v1
• Date: Mon, 30 Sep 2024 13:53:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 10:12:47.509769
• Title: Automating MedSAM by Learning Prompts with Weak Few-Shot Supervision
• Title（参考訳）: 弱重ショットスーパービジョンを用いたプロンプト学習によるMedSAMの自動化
• Authors: Mélanie Gaillochet, Christian Desrosiers, Hervé Lombaert,
• Abstract要約: 本研究は,入力プロンプトの条件付けを,画像埋め込みから直接プロンプト埋め込みを学習する軽量モジュールに置き換えることを提案する。 本手法は,医療用画像に微調整したSAMのバージョンであるMedSAMを用いて検証した。
• 参考スコア（独自算出の注目度）: 10.609371657347806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models such as the recently introduced Segment Anything Model (SAM) have achieved remarkable results in image segmentation tasks. However, these models typically require user interaction through handcrafted prompts such as bounding boxes, which limits their deployment to downstream tasks. Adapting these models to a specific task with fully labeled data also demands expensive prior user interaction to obtain ground-truth annotations. This work proposes to replace conditioning on input prompts with a lightweight module that directly learns a prompt embedding from the image embedding, both of which are subsequently used by the foundation model to output a segmentation mask. Our foundation models with learnable prompts can automatically segment any specific region by 1) modifying the input through a prompt embedding predicted by a simple module, and 2) using weak labels (tight bounding boxes) and few-shot supervision (10 samples). Our approach is validated on MedSAM, a version of SAM fine-tuned for medical images, with results on three medical datasets in MR and ultrasound imaging. Our code is available on https://github.com/Minimel/MedSAMWeakFewShotPromptAutomation.
• Abstract（参考訳）: 最近導入されたSegment Anything Model (SAM)のような基盤モデルは、画像分割タスクにおいて顕著な成果を上げている。 しかしながら、これらのモデルは通常、バウンディングボックスのような手作りのプロンプトによるユーザインタラクションを必要とします。 これらのモデルを完全にラベル付けされたデータで特定のタスクに適応させるには、地味なアノテーションを得るためには、高価な事前ユーザーインタラクションが必要である。 本研究は,入力プロンプトの条件付けを,画像埋め込みから直接プロンプト埋め込みを学習する軽量モジュールに置き換えることを提案する。 学習可能なプロンプトを持つ基盤モデルは、任意の特定の領域を自動的に分割することができる。 1)簡単なモジュールによって予測されるプロンプト埋め込みを通じて入力を変更する。 2) 弱ラベル(タイトバウンディングボックス)と少数ショット監視(10サンプル)を使用する。 医用画像に微調整したSAMのバージョンであるMedSAMを用いて,MRおよび超音波画像の3つの医学データセットを用いて,本手法の有効性を検証した。 私たちのコードはhttps://github.com/Minimel/MedSAMWeakFewShotPromptAutomationで利用可能です。

関連論文リスト

• SAM-CP: Marrying SAM with Composable Prompts for Versatile Segmentation [88.80792308991867]
  Segment Anything Model (SAM)は、イメージピクセルをパッチにグループ化する機能を示しているが、セグメンテーションにそれを適用することは依然として大きな課題に直面している。 本稿では,SAM-CPを提案する。SAM-CPはSAM以外の2種類の構成可能なプロンプトを確立し,多目的セグメンテーションのために構成する単純な手法である。 実験により、SAM-CPはオープンドメインとクローズドドメインの両方においてセマンティック、例、およびパノプティックセグメンテーションを達成することが示された。
  論文  参考訳（メタデータ） (2024-07-23T17:47:25Z)
• ProtoSAM: One-Shot Medical Image Segmentation With Foundational Models [29.781228739479893]
  ProtoSAMは、ワンショットの医療画像セグメンテーションのための新しいフレームワークである。 これは、数ショットセグメンテーションで知られているプロトタイプネットワークと、自然画像基盤モデルSAMの併用である。
  論文  参考訳（メタデータ） (2024-07-09T17:04:08Z)
• AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
  Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。 オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:39Z)
• Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting [10.308637269138146]
  超音波画像分割に適したユニバーサルモデルとしてSAMUSを提案する。 さらに、AutoSAMUSと表記されるエンドツーエンドで動作できるようにします。 AutoSAMUSは、SAMUSのマニュアルプロンプトエンコーダを置き換えるために自動プロンプトジェネレータ(APG)を導入することで実現されている。
  論文  参考訳（メタデータ） (2023-09-13T09:15:20Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation [49.59991322513561]
  本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。 AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。 実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-07T17:12:54Z)
• How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
  Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。 しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。 本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T18:34:30Z)
• AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt Encoder [101.28268762305916]
  この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。 複数の医用画像とビデオのベンチマークで最先端の結果を得る。 内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
  論文  参考訳（メタデータ） (2023-06-10T07:27:00Z)
• DeSAM: Decoupled Segment Anything Model for Generalizable Medical Image Segmentation [22.974876391669685]
  Segment Anything Model (SAM) は、医用画像セグメンテーションのクロスドメインロバスト性を改善する可能性を示している。 SAMは手動でトリガーする時よりも、自動セグメンテーションのシナリオで大幅にパフォーマンスが低下する。 Decoupled SAMはSAMのマスクデコーダを2つの新しいモジュールを導入して変更する。
  論文  参考訳（メタデータ） (2023-06-01T09:49:11Z)
• One-Prompt to Segment All Medical Images [18.829371793411347]
  本稿では「ワン・プロンプト」と呼ばれる普遍的な医用画像セグメンテーションに向けた新しいパラダイムを紹介する。 One-Promptは、ワンショットとインタラクティブなメソッドの長所を組み合わせたものだ。推論の段階では、textbfoneがトリガーしたサンプルと組み合わせることで、1回のフォワードパスで目に見えないタスクを正確に処理することができる。 以前にない14のデータセットでテストされたOne-Prompt Modelは、優れたゼロショットセグメンテーション機能を示し、幅広い関連するメソッドを上回っている。
  論文  参考訳（メタデータ） (2023-05-17T15:37:47Z)
• Personalize Segment Anything Model with One Shot [52.54453744941516]
  我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。 PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。 PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
  論文  参考訳（メタデータ） (2023-05-04T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。