論文の概要: Adaptive Prompt Learning with SAM for Few-shot Scanning Probe Microscope Image Segmentation

• arxiv url: http://arxiv.org/abs/2410.12562v1
• Date: Wed, 16 Oct 2024 13:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:42:11.013688
• Title: Adaptive Prompt Learning with SAM for Few-shot Scanning Probe Microscope Image Segmentation
• Title（参考訳）: Few-shot Scanning Probe Image SegmentationのためのSAMを用いた適応型プロンプト学習
• Authors: Yao Shen, Ziwei Wei, Chunmeng Liu, Shuming Wei, Qi Zhao, Kaiyang Zeng, Guangyao Li,
• Abstract要約: Segment Anything Model (SAM) は自然シーン画像のイメージセグメンテーションにおいて強い性能を示した。 SAMの有効性は、SPM(Scanning Probe Microscope)画像のような特定の科学的領域に適用すると著しく低下する。 本稿では,数ショットのSPM画像セグメンテーションに適したSAMフレームワークを用いたAdaptive Prompt Learningを提案する。
• 参考スコア（独自算出の注目度）: 11.882111844381098
• License:
• Abstract: The Segment Anything Model (SAM) has demonstrated strong performance in image segmentation of natural scene images. However, its effectiveness diminishes markedly when applied to specific scientific domains, such as Scanning Probe Microscope (SPM) images. This decline in accuracy can be attributed to the distinct data distribution and limited availability of the data inherent in the scientific images. On the other hand, the acquisition of adequate SPM datasets is both time-intensive and laborious as well as skill-dependent. To address these challenges, we propose an Adaptive Prompt Learning with SAM (APL-SAM) framework tailored for few-shot SPM image segmentation. Our approach incorporates two key innovations to enhance SAM: 1) An Adaptive Prompt Learning module leverages few-shot embeddings derived from limited support set to learn adaptively central representatives, serving as visual prompts. This innovation eliminates the need for time-consuming online user interactions for providing prompts, such as exhaustively marking points and bounding boxes slice by slice; 2) A multi-source, multi-level mask decoder specifically designed for few-shot SPM image segmentation is introduced, which can effectively capture the correspondence between the support and query images. To facilitate comprehensive training and evaluation, we introduce a new dataset, SPM-Seg, curated for SPM image segmentation. Extensive experiments on this dataset reveal that the proposed APL-SAM framework significantly outperforms the original SAM, achieving over a 30% improvement in terms of Dice Similarity Coefficient with only one-shot guidance. Moreover, APL-SAM surpasses state-of-the-art few-shot segmentation methods and even fully supervised approaches in performance. Code and dataset used in this study will be made available upon acceptance.
• Abstract（参考訳）: Segment Anything Model (SAM) は自然シーン画像のイメージセグメンテーションにおいて強い性能を示した。 しかし、SPM(Scanning Probe Microscope)画像のような特定の科学的領域に適用すると、その効果は著しく低下する。 この精度の低下は、異なるデータ分布と、科学画像に固有のデータの限られた可用性に起因する。 一方、適切なSPMデータセットの取得は時間集約的かつ努力的であり、スキルに依存している。 これらの課題に対処するために,少数のSPM画像セグメンテーションに適したSAM (APL-SAM) フレームワークを提案する。 私たちのアプローチはSAMを強化するために2つの重要なイノベーションを取り入れています。 1)Adaptive Prompt Learningモジュールは、限られたサポートセットから派生した少数ショット埋め込みを利用して、適応的に中心的な代表を学習し、視覚的なプロンプトとして機能する。 このイノベーションは、ポイントの徹底的なマーキングやスライスによる境界ボックススライスといったプロンプトを提供するために、時間を要するオンラインユーザインタラクションを不要にする。 2) 少数のSPM画像セグメンテーション用に設計されたマルチソースマルチレベルマスクデコーダを導入し, サポート画像とクエリ画像との対応性を効果的に捉えることができる。 総合的なトレーニングと評価を容易にするため,SPM画像セグメンテーションのための新しいデータセットであるSPM-Segを導入する。 このデータセットに関する大規模な実験により、提案されたAPL-SAMフレームワークはオリジナルのSAMを大幅に上回り、Dice similarity Coefficientの30%以上の改善を1ショットのガイダンスで達成していることが明らかとなった。 さらに、APL-SAMは最先端のいくつかのショットセグメンテーション手法を超越し、パフォーマンスの完全な教師付きアプローチさえも実現している。 この研究で使用されるコードとデータセットは、受理時に利用可能になる。

関連論文リスト

• CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM [2.9500242602590565]
  CycleSAMは、テスト時にトレーニングイメージマスクペアを使用してワンショットの手術シーンセグメンテーションを行うアプローチである。 手術画像に事前訓練されたResNet50エンコーダを自己教師方式で採用し,高いラベル効率を維持する。
  論文  参考訳（メタデータ） (2024-07-09T12:08:07Z)
• SAM Fewshot Finetuning for Anatomical Segmentation in Medical Images [3.2099042811875833]
  医用画像の解剖学的セグメンテーションタスクにSAM(Seegment Anything)を適用するための戦略を提案する。 画像埋め込みで取得した解剖学的クエリーオブジェクトのプロンプトとして,ラベル付き画像の限られたセットから得られる少数ショット埋め込みを利用する。 本手法は,キャッシング機構を用いてマスクデコーダのみをトレーニングすることにより,微調整プロセスの効率化を優先する。
  論文  参考訳（メタデータ） (2024-07-05T17:07:25Z)
• FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
  Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。 2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。 まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。 次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T02:34:13Z)
• PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
  PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。 本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:03Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Stable Segment Anything Model [79.9005670886038]
  SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。 本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。 1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
  論文  参考訳（メタデータ） (2023-11-27T12:51:42Z)
• Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models [14.292149307183967]
  本研究は,少数ショットセマンティックセグメンテーションの自動化を目的とした構造化フレームワークを提案する。 SAMモデルを利用して、意味的に識別可能なセグメンテーションの結果をより効率的に生成する。 提案手法の中心は,従来のガイドマスクを利用してSAMの粗い画素単位のプロンプトを生成する,新しい自動プロンプト学習手法である。
  論文  参考訳（メタデータ） (2023-11-22T07:07:55Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model [29.42043345787285]
  本稿では,Segment Anything Model (SAM) のための適切なプロンプトの生成を学習する手法を提案する。 これによりSAMはリモートセンシング画像に対して意味的に識別可能なセグメンテーション結果を生成することができる。 また,SAMコミュニティ内での最近の進歩を図り,その性能をRSPrompterと比較する。
  論文  参考訳（メタデータ） (2023-06-28T14:51:34Z)
• Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and Semi-Supervised Semantic Segmentation [119.009033745244]
  本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。 SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。 Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
  論文  参考訳（メタデータ） (2022-03-19T09:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。