論文の概要: Med-PerSAM: One-Shot Visual Prompt Tuning for Personalized Segment Anything Model in Medical Domain

• arxiv url: http://arxiv.org/abs/2411.16123v1
• Date: Mon, 25 Nov 2024 06:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:32.612304
• Title: Med-PerSAM: One-Shot Visual Prompt Tuning for Personalized Segment Anything Model in Medical Domain
• Title（参考訳）: Med-PerSAM:医療領域におけるパーソナライズされたセグメンテーションモデルのためのワンショットビジュアルプロンプトチューニング
• Authors: Hangyul Yoon, Doohyuk Jang, Jungeun Kim, Eunho Yang,
• Abstract要約: 文脈内学習に適したプロンプトを組み込んだ事前学習モデルの活用は、NLPタスクにおいて極めて効果的であることが証明されている。 textbfMed-PerSAMは,医療領域向けに設計された,新規で簡単なワンショット・フレームワークである。 本モデルは,多様な2次元医用画像データセットにおいて,基礎モデルおよび従来のSAMベースのアプローチより優れる。
• 参考スコア（独自算出の注目度）: 30.700648813505158
• License:
• Abstract: Leveraging pre-trained models with tailored prompts for in-context learning has proven highly effective in NLP tasks. Building on this success, recent studies have applied a similar approach to the Segment Anything Model (SAM) within a ``one-shot" framework, where only a single reference image and its label are employed. However, these methods face limitations in the medical domain, primarily due to SAM's essential requirement for visual prompts and the over-reliance on pixel similarity for generating them. This dependency may lead to (1) inaccurate prompt generation and (2) clustering of point prompts, resulting in suboptimal outcomes. To address these challenges, we introduce \textbf{Med-PerSAM}, a novel and straightforward one-shot framework designed for the medical domain. Med-PerSAM uses only visual prompt engineering and eliminates the need for additional training of the pretrained SAM or human intervention, owing to our novel automated prompt generation process. By integrating our lightweight warping-based prompt tuning model with SAM, we enable the extraction and iterative refinement of visual prompts, enhancing the performance of the pre-trained SAM. This advancement is particularly meaningful in the medical domain, where creating visual prompts poses notable challenges for individuals lacking medical expertise. Our model outperforms various foundational models and previous SAM-based approaches across diverse 2D medical imaging datasets.
• Abstract（参考訳）: 文脈内学習に適したプロンプトを組み込んだ事前学習モデルの活用は、NLPタスクにおいて極めて効果的であることが証明されている。 この成功に基づいて、最近の研究では、単一の参照イメージとそのラベルのみが使用される '`one-shot' フレームワーク内で、Segment Anything Model (SAM) に同様のアプローチを適用している。 しかし、これらの手法は、主にSAMの視覚的プロンプトに対する必須要件と、それらを生成するピクセル類似性への過度な依存のために、医学領域において制限に直面している。 この依存は(1)不正確なプロンプト生成と(2)ポイントプロンプトのクラスタリングにつながり、その結果、準最適結果をもたらす。 これらの課題に対処するため,医療領域向けに設計された新規で簡単なワンショット・フレームワークである \textbf{Med-PerSAM} を紹介した。 Med-PerSAMは視覚的なプロンプトエンジニアリングのみを使用し、新しい自動プロンプト生成プロセスのため、事前訓練されたSAMや人間の介入のトレーニングを不要にする。 軽量なワーピングに基づくプロンプトチューニングモデルをSAMと統合することにより、視覚的プロンプトの抽出と反復的な洗練を可能にし、事前訓練されたSAMの性能を向上させる。 この進歩は、医療分野において特に意味があり、視覚的なプロンプトを作成することは、専門知識の欠如した個人にとって顕著な課題となる。 本モデルは,多様な2次元医用画像データセットにおいて,様々な基礎モデルと従来のSAMベースのアプローチより優れている。

関連論文リスト

• CoSAM: Self-Correcting SAM for Domain Generalization in 2D Medical Image Segmentation [11.567414253208991]
  自己補正SAM(CoSAM)と呼ばれる2次元医用画像分割法を提案する。 提案手法は,SAMを用いて粗いマスクをプロンプトフリーで生成することから始まり,その後の段階の事前プロンプトを提供する。 修正マスクに基づくフィードバックとして多様なプロンプトを生成し、予測を反復的に洗練する。
  論文  参考訳（メタデータ） (2024-11-15T12:20:52Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
  医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。 我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。 医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
  論文  参考訳（メタデータ） (2024-06-03T03:16:25Z)
• Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
  本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。 初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。 我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
  論文  参考訳（メタデータ） (2024-03-27T05:55:16Z)
• ProMISe: Promptable Medical Image Segmentation using SAM [11.710367186709432]
  ターゲット領域にユークリッド適応プロンプトを付加したSAMベースの基盤モデルを提供する自動プロンプトモジュール(APM)を提案する。 また、SAMを特定の医療領域に適応させるために、Incrmental Pattern Shifting (IPS) と呼ばれる新しい非侵襲的手法を提案する。 これら2つの手法を結合することにより,プロンプタブル・メディカルイメージのためのエンドツーエンドな非微調整フレームワークであるProMISeを提案する。
  論文  参考訳（メタデータ） (2024-03-07T02:48:42Z)
• Foundation Models for Biomedical Image Segmentation: A Survey [33.33304230919037]
  Segment Anything Model (SAM) は、オブジェクトの種類や画像のモダリティを事前に知ることなく、画像内のオブジェクトを分割または識別することができる。 このレビューは2023年4月1日から2023年9月30日までの期間に焦点を当てている。 SAMは多くの用途で最先端のパフォーマンスを達成するが、頸動脈の分節、副腎、視神経、下顎骨などの特定の領域では不足している。
  論文  参考訳（メタデータ） (2024-01-15T12:49:51Z)
• EviPrompt: A Training-Free Evidential Prompt Generation Method for Segment Anything Model in Medical Images [14.899388051854084]
  医用画像のセグメンテーションは、臨床応用性は非常に高いが、深層学習の進歩にもかかわらず、依然として課題である。 本稿では,これらの課題を克服するために,EviPromptという新たなトレーニング不要なエフェクトプロンプト生成手法を提案する。 提案手法は,医用画像に固有の類似性に基づいて構築され,単一の参照画像アノテーションペアのみを必要とする。
  論文  参考訳（メタデータ） (2023-11-10T21:22:22Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Personalize Segment Anything Model with One Shot [52.54453744941516]
  我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。 PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。 PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
  論文  参考訳（メタデータ） (2023-05-04T17:59:36Z)
• Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
  Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。 近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。 ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
  論文  参考訳（メタデータ） (2023-04-25T07:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。