論文の概要: Segmentation by registration-enabled SAM prompt engineering using five reference images

• arxiv url: http://arxiv.org/abs/2407.17933v1
• Date: Thu, 25 Jul 2024 10:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 14:28:24.735177
• Title: Segmentation by registration-enabled SAM prompt engineering using five reference images
• Title（参考訳）: 5つの参照画像を用いた登録可能なSAMプロンプトエンジニアリングによるセグメンテーション
• Authors: Yaxi Chen, Aleksandra Ivanova, Shaheer U. Saeed, Rikin Hargunani, Jie Huang, Chaozong Liu, Yipeng Hu,
• Abstract要約: SAMを用いた医用画像セグメンテーションのための新規な登録ベースプロンプトエンジニアリングフレームワークを提案する。 分割ラベルを必要とせずに,確立された画像登録アルゴリズムを用いて,新しい画像(分割)と少数の参照画像の整列を行う。 この戦略は、定義されたポイントプロンプトを持つ5つまでの参照イメージを必要とするため、セグメンテーションラベルを必要とせずに、実質的にSAMに新しいイメージの推論を促せる。
• 参考スコア（独自算出の注目度）: 40.58383603965483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recently proposed Segment Anything Model (SAM) is a general tool for image segmentation, but it requires additional adaptation and careful fine-tuning for medical image segmentation, especially for small, irregularly-shaped, and boundary-ambiguous anatomical structures such as the knee cartilage that is of interest in this work. Repaired cartilage, after certain surgical procedures, exhibits imaging patterns unseen to pre-training, posing further challenges for using models like SAM with or without general-purpose fine-tuning. To address this, we propose a novel registration-based prompt engineering framework for medical image segmentation using SAM. This approach utilises established image registration algorithms to align the new image (to-be-segmented) and a small number of reference images, without requiring segmentation labels. The spatial transformations generated by registration align either the new image or pre-defined point-based prompts, before using them as input to SAM. This strategy, requiring as few as five reference images with defined point prompts, effectively prompts SAM for inference on new images, without needing any segmentation labels. Evaluation of MR images from patients who received cartilage stem cell therapy yielded Dice scores of 0.89, 0.87, 0.53, and 0.52 for segmenting femur, tibia, femoral- and tibial cartilages, respectively. This outperforms atlas-based label fusion and is comparable to supervised nnUNet, an upper-bound fair baseline in this application, both of which require full segmentation labels for reference samples. The codes are available at: https://github.com/chrissyinreallife/KneeSegmentWithSAM.git
• Abstract（参考訳）: 最近提案されたSegment Anything Model(SAM)は画像セグメンテーションの一般的なツールであるが、特に小さな、不規則な形状の、そしてこの研究に興味のある膝軟骨のような境界あいまいな解剖学的構造に対して、医療画像セグメンテーションのための追加の適応と注意深い微調整が必要である。 修復軟骨は、特定の外科手術の後に、事前訓練に見えない画像パターンを示し、SAMのようなモデルに汎用的な微調整を施すか、それ以上の課題を提起する。 そこで本研究では,SAMを用いた医用画像分割のための新規な登録ベースプロンプトエンジニアリングフレームワークを提案する。 このアプローチでは、セグメンテーションラベルを必要とせずに、確立した画像登録アルゴリズムを使用して、新しい画像(分割)と少数の参照画像の整列を行う。 登録によって生成された空間変換は、SAMへの入力として使用する前に、新しい画像または予め定義されたポイントベースのプロンプトを整列する。 この戦略は、定義されたポイントプロンプトを持つ5つまでの参照イメージを必要とするため、セグメンテーションラベルを必要とせずに、実質的にSAMに新しいイメージの推論を促せる。 軟骨幹細胞治療を受けた患者のMR画像の評価では, 大腿骨, 大腿骨, 大腿骨, 骨軟骨の分節化にそれぞれ0.89, 0.87, 0.53, 0.52のDiceスコアが得られた。 これはアトラスベースのラベル融合よりも優れており、このアプリケーションでは上界のフェアベースラインであるnnUNetと同等であり、どちらも参照サンプルの完全なセグメンテーションラベルを必要とする。 コードは、https://github.com/chrissyinreallife/KneeSegmentWithSAM.gitで入手できる。

関連論文リスト

• CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM [2.9500242602590565]
  CycleSAMは、テスト時にトレーニングイメージマスクペアを使用してワンショットの手術シーンセグメンテーションを行うアプローチである。 手術画像に事前訓練されたResNet50エンコーダを自己教師方式で採用し,高いラベル効率を維持する。
  論文  参考訳（メタデータ） (2024-07-09T12:08:07Z)
• MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
  本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。 3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
  論文  参考訳（メタデータ） (2024-03-29T15:59:11Z)
• SQA-SAM: Segmentation Quality Assessment for Medical Images Utilizing the Segment Anything Model [35.569906173295834]
  医用画像セグメンテーションの品質評価の精度を高めるために,SQA-SAMと呼ばれる新しいSQA手法を提案する。 医用画像分割モデル(MedSeg)がテスト画像の予測を生成すると、予測に基づいて視覚的プロンプトを生成し、SAMを用いて視覚的プロンプトに対応するセグメンテーションマップを生成する。 MedSegのセグメンテーションがSAMのセグメンテーションとどのように一致しているかは、MedSegのセグメンテーションがオブジェクトの認識とイメージ領域のパーティションの一般的な認識といかにうまく一致しているかを示している。
  論文  参考訳（メタデータ） (2023-12-15T15:49:53Z)
• I-MedSAM: Implicit Medical Image Segmentation with Segment Anything [24.04558900909617]
  提案するI-MedSAMは、連続表現とSAMの両方の利点を利用して、クロスドメイン能力と正確な境界線を求める。 トレーニング可能なパラメータが1.6Mしかない提案手法は、離散的および暗黙的を含む既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-28T00:43:52Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation [27.044797468878837]
  Segment Anything Model (SAM)は、自然画像に広範囲のオブジェクトを分割する機能を示す。 本稿では、SAMとドメイン固有の知識を組み合わせて、ラベルなし画像の信頼性の高い利用法を提案する。 本研究は,医用画像セグメンテーションのための半教師あり学習の新たな方向性を創出する。
  論文  参考訳（メタデータ） (2023-08-26T04:46:10Z)
• Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
  Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。 近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。 ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
  論文  参考訳（メタデータ） (2023-04-25T07:34:22Z)
• Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation [84.58210297703714]
  半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。 共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。 異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2023-01-12T08:19:46Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。