論文の概要: Med-PerSAM: One-Shot Visual Prompt Tuning for Personalized Segment Anything Model in Medical Domain

• arxiv url: http://arxiv.org/abs/2411.16123v1
• Date: Mon, 25 Nov 2024 06:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:32.612304
• Title: Med-PerSAM: One-Shot Visual Prompt Tuning for Personalized Segment Anything Model in Medical Domain
• Title（参考訳）: Med-PerSAM:医療領域におけるパーソナライズされたセグメンテーションモデルのためのワンショットビジュアルプロンプトチューニング
• Authors: Hangyul Yoon, Doohyuk Jang, Jungeun Kim, Eunho Yang,
• Abstract要約: 文脈内学習に適したプロンプトを組み込んだ事前学習モデルの活用は、NLPタスクにおいて極めて効果的であることが証明されている。 textbfMed-PerSAMは,医療領域向けに設計された,新規で簡単なワンショット・フレームワークである。 本モデルは,多様な2次元医用画像データセットにおいて,基礎モデルおよび従来のSAMベースのアプローチより優れる。
• 参考スコア（独自算出の注目度）: 30.700648813505158
• License:
• Abstract: Leveraging pre-trained models with tailored prompts for in-context learning has proven highly effective in NLP tasks. Building on this success, recent studies have applied a similar approach to the Segment Anything Model (SAM) within a ``one-shot" framework, where only a single reference image and its label are employed. However, these methods face limitations in the medical domain, primarily due to SAM's essential requirement for visual prompts and the over-reliance on pixel similarity for generating them. This dependency may lead to (1) inaccurate prompt generation and (2) clustering of point prompts, resulting in suboptimal outcomes. To address these challenges, we introduce \textbf{Med-PerSAM}, a novel and straightforward one-shot framework designed for the medical domain. Med-PerSAM uses only visual prompt engineering and eliminates the need for additional training of the pretrained SAM or human intervention, owing to our novel automated prompt generation process. By integrating our lightweight warping-based prompt tuning model with SAM, we enable the extraction and iterative refinement of visual prompts, enhancing the performance of the pre-trained SAM. This advancement is particularly meaningful in the medical domain, where creating visual prompts poses notable challenges for individuals lacking medical expertise. Our model outperforms various foundational models and previous SAM-based approaches across diverse 2D medical imaging datasets.
• Abstract（参考訳）: 文脈内学習に適したプロンプトを組み込んだ事前学習モデルの活用は、NLPタスクにおいて極めて効果的であることが証明されている。 この成功に基づいて、最近の研究では、単一の参照イメージとそのラベルのみが使用される '`one-shot' フレームワーク内で、Segment Anything Model (SAM) に同様のアプローチを適用している。 しかし、これらの手法は、主にSAMの視覚的プロンプトに対する必須要件と、それらを生成するピクセル類似性への過度な依存のために、医学領域において制限に直面している。 この依存は(1)不正確なプロンプト生成と(2)ポイントプロンプトのクラスタリングにつながり、その結果、準最適結果をもたらす。 これらの課題に対処するため,医療領域向けに設計された新規で簡単なワンショット・フレームワークである \textbf{Med-PerSAM} を紹介した。 Med-PerSAMは視覚的なプロンプトエンジニアリングのみを使用し、新しい自動プロンプト生成プロセスのため、事前訓練されたSAMや人間の介入のトレーニングを不要にする。 軽量なワーピングに基づくプロンプトチューニングモデルをSAMと統合することにより、視覚的プロンプトの抽出と反復的な洗練を可能にし、事前訓練されたSAMの性能を向上させる。 この進歩は、医療分野において特に意味があり、視覚的なプロンプトを作成することは、専門知識の欠如した個人にとって顕著な課題となる。 本モデルは,多様な2次元医用画像データセットにおいて,様々な基礎モデルと従来のSAMベースのアプローチより優れている。

関連論文リスト

• Few-Shot Adaptation of Training-Free Foundation Model for 3D Medical Image Segmentation [8.78725593323412]
  FATE-SAM (Few-shot Adaptation of Training-frEe SAM) は、3次元医用画像セグメンテーションに高度なセグメンテーションモデル2 (SAM2) を適用するために設計された新しい手法である。 FATE-SAMはSAM2の事前訓練されたモジュールを再組み立てし、少数のサポート例を活用する。 複数の医用画像データセット上でFATE-SAMを評価し、教師付き学習方法、ゼロショットSAMアプローチ、微調整医療SAM手法と比較した。
  論文  参考訳（メタデータ） (2025-01-15T20:44:21Z)
• Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation [47.789013598970925]
  半教師型医用画像分割のための知識蒸留フレームワークKnowSAMを提案する。 我々のモデルは最先端の半教師付きセグメンテーションアプローチより優れている。
  論文  参考訳（メタデータ） (2024-12-18T11:19:23Z)
• MCP-MedSAM: A Powerful Lightweight Medical Segment Anything Model Trained with a Single GPU in Just One Day [0.6827423171182151]
  医用画像のセグメンテーションには、解剖学的構造や異常を識別することに焦点を当てて、医療画像を意味のある領域に分割することが含まれる。 Anything Model(SAM)は、様々なタスクのパフォーマンスを改善するために、医学領域に適応するよう研究者に促している。 MCP-MedSAMは、単一のGPU上で1日以内にトレーニングできるように設計された、強力で軽量な医療SAMモデルである。
  論文  参考訳（メタデータ） (2024-12-08T10:50:59Z)
• CoSAM: Self-Correcting SAM for Domain Generalization in 2D Medical Image Segmentation [11.567414253208991]
  自己補正SAM(CoSAM)と呼ばれる2次元医用画像分割法を提案する。 提案手法は,SAMを用いて粗いマスクをプロンプトフリーで生成することから始まり,その後の段階の事前プロンプトを提供する。 修正マスクに基づくフィードバックとして多様なプロンプトを生成し、予測を反復的に洗練する。
  論文  参考訳（メタデータ） (2024-11-15T12:20:52Z)
• Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
  医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。 我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。 医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
  論文  参考訳（メタデータ） (2024-06-03T03:16:25Z)
• Foundation Models for Biomedical Image Segmentation: A Survey [33.33304230919037]
  Segment Anything Model (SAM) は、オブジェクトの種類や画像のモダリティを事前に知ることなく、画像内のオブジェクトを分割または識別することができる。 このレビューは2023年4月1日から2023年9月30日までの期間に焦点を当てている。 SAMは多くの用途で最先端のパフォーマンスを達成するが、頸動脈の分節、副腎、視神経、下顎骨などの特定の領域では不足している。
  論文  参考訳（メタデータ） (2024-01-15T12:49:51Z)
• EviPrompt: A Training-Free Evidential Prompt Generation Method for Segment Anything Model in Medical Images [14.899388051854084]
  医用画像のセグメンテーションは、臨床応用性は非常に高いが、深層学習の進歩にもかかわらず、依然として課題である。 本稿では,これらの課題を克服するために,EviPromptという新たなトレーニング不要なエフェクトプロンプト生成手法を提案する。 提案手法は,医用画像に固有の類似性に基づいて構築され,単一の参照画像アノテーションペアのみを必要とする。
  論文  参考訳（メタデータ） (2023-11-10T21:22:22Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Personalize Segment Anything Model with One Shot [52.54453744941516]
  我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。 PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。 PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
  論文  参考訳（メタデータ） (2023-05-04T17:59:36Z)
• Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
  Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。 近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。 ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
  論文  参考訳（メタデータ） (2023-04-25T07:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。