論文の概要: Segment Any Cell: A SAM-based Auto-prompting Fine-tuning Framework for Nuclei Segmentation

• arxiv url: http://arxiv.org/abs/2401.13220v1
• Date: Wed, 24 Jan 2024 04:23:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 15:30:56.778881
• Title: Segment Any Cell: A SAM-based Auto-prompting Fine-tuning Framework for Nuclei Segmentation
• Title（参考訳）: Segment Any Cell: NucleiセグメンテーションのためのSAMベースの自動プロンプトファインチューニングフレームワーク
• Authors: Saiyang Na, Yuzhi Guo, Feng Jiang, Hehuan Ma and Junzhou Huang
• Abstract要約: Segment Any Cell (SAC) は、SAMを核セグメンテーションのために強化する革新的なフレームワークである。 SACはトランスフォーマーの注意層にローランド適応(LoRA)を統合し、微調整プロセスを改善する。 コントリビューションには、新しいプロンプト生成戦略、多様なセグメンテーションタスクの自動適応性、セグメンテーション課題のための汎用フレームワークなどが含まれます。
• 参考スコア（独自算出の注目度）: 39.81051783009144
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the rapidly evolving field of AI research, foundational models like BERT and GPT have significantly advanced language and vision tasks. The advent of pretrain-prompting models such as ChatGPT and Segmentation Anything Model (SAM) has further revolutionized image segmentation. However, their applications in specialized areas, particularly in nuclei segmentation within medical imaging, reveal a key challenge: the generation of high-quality, informative prompts is as crucial as applying state-of-the-art (SOTA) fine-tuning techniques on foundation models. To address this, we introduce Segment Any Cell (SAC), an innovative framework that enhances SAM specifically for nuclei segmentation. SAC integrates a Low-Rank Adaptation (LoRA) within the attention layer of the Transformer to improve the fine-tuning process, outperforming existing SOTA methods. It also introduces an innovative auto-prompt generator that produces effective prompts to guide segmentation, a critical factor in handling the complexities of nuclei segmentation in biomedical imaging. Our extensive experiments demonstrate the superiority of SAC in nuclei segmentation tasks, proving its effectiveness as a tool for pathologists and researchers. Our contributions include a novel prompt generation strategy, automated adaptability for diverse segmentation tasks, the innovative application of Low-Rank Attention Adaptation in SAM, and a versatile framework for semantic segmentation challenges.
• Abstract（参考訳）: AI研究の急速に発展する分野では、BERTやGPTといった基礎的なモデルは、言語とビジョンのタスクが大幅に進歩している。 ChatGPT や Segmentation Anything Model (SAM) のようなプレトレインプロンプティングモデルの出現により、画像セグメンテーションはさらに革新的になった。 しかし、彼らの専門分野、特に医療画像内の核分画への応用は、基礎モデルに最先端(sota)の微調整技術を適用するのと同じくらい、高品質で情報的なプロンプトの生成が重要であることを明らかにしている。 これに対処するために、segment any cell(sac)という、特に核分裂のためのsamを強化する革新的なフレームワークを紹介します。 SACは、トランスフォーマーの注意層にローランド適応(LoRA)を統合し、微調整プロセスを改善し、既存のSOTA法より優れている。 また、バイオメディカルイメージングにおける核セグメンテーションの複雑さを扱う重要な要素であるセグメンテーションを誘導する効果的なプロンプトを生成する革新的なオートプロンプトジェネレータも導入している。 核分割作業におけるSACの優位性を実証し,病理学者や研究者のツールとしての有効性を実証した。 提案手法には,新しいプロンプト生成戦略,多様なセグメンテーションタスクに対する自動適応性,samにおける低ランクアテンション適応の革新的適用,意味セグメンテーション課題のための汎用フレームワークなどが含まれる。

関連論文リスト

• MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
  MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。 提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
  論文  参考訳（メタデータ） (2024-09-28T23:10:37Z)
• Image Segmentation in Foundation Model Era: A Survey [99.19456390358211]
  イメージセグメンテーションにおける現在の研究は、これらの進歩に関連する特徴、課題、解決策の詳細な分析を欠いている。 本調査は、FM駆動画像セグメンテーションを中心とした最先端の研究を徹底的にレビューすることで、このギャップを埋めようとしている。 現在の研究成果の広さを包括する,300以上のセグメンテーションアプローチの概要を概観する。
  論文  参考訳（メタデータ） (2024-08-23T10:07:59Z)
• A Survey on Cell Nuclei Instance Segmentation and Classification: Leveraging Context and Attention [2.574831636177296]
  我々は,H&E-stained microscopy imaging を用いて,細胞核のインスタンスのセグメンテーションと分類のコンテキストとアテンションに関する調査を行った。 本研究では,一般的な事例分割・分類手法(Mask-RCNN)と,コンテキスト・アテンションに基づく機構を用いたセル核の分類・分類モデル(HoVer-Net)を拡張した。 我々の研究結果は、ドメイン知識をアルゴリズム設計に翻訳することは簡単な作業ではなく、これらのメカニズムを完全に活用する必要があることを示唆している。
  論文  参考訳（メタデータ） (2024-07-26T11:30:22Z)
• ASPS: Augmented Segment Anything Model for Polyp Segmentation [77.25557224490075]
  SAM(Segment Anything Model)は、ポリープセグメンテーションに先例のないポテンシャルを導入している。 SAMのTransformerベースの構造は、グローバルおよび低周波情報を優先する。 CFAはトレーニング可能なCNNエンコーダブランチと凍結したViTエンコーダを統合し、ドメイン固有の知識の統合を可能にする。
  論文  参考訳（メタデータ） (2024-06-30T14:55:32Z)
• MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation [2.2585213273821716]
  本稿では,CLIPモデルとSAMモデルを組み合わせて臨床スキャンのセグメンテーションを生成する新しいフレームワーク MedCLIP-SAM を提案する。 3つの多様なセグメンテーションタスクと医用画像モダリティを広範囲にテストすることにより、提案手法は優れた精度を示した。
  論文  参考訳（メタデータ） (2024-03-29T15:59:11Z)
• UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images [47.59627416801523]
  デジタル病理学において、正確な核分割は、組織の種類、染色プロトコル、イメージング条件の多様性によって、重要な課題である。 我々はUniversal prompt-free SAM framework for Nuclei segmentation (UN-SAM)を提案する。 例外的な性能を持つUN-SAMは、核インスタンスやセマンティックセグメンテーションの最先端、特にゼロショットシナリオにおける一般化能力を上回っている。
  論文  参考訳（メタデータ） (2024-02-26T15:35:18Z)
• Unleashing the Power of Prompt-driven Nucleus Instance Segmentation [12.827503504028629]
  Segment Anything Model (SAM) は医療画像のセグメンテーションにおいて大きな注目を集めている。 本稿では, 自動核インスタンスセグメンテーションのための新規なプロンプト駆動型フレームワークについて述べる。 提案手法は,3つの試行錯誤ベンチマークに対して,最先端性能を新たに設定する。
  論文  参考訳（メタデータ） (2023-11-27T15:46:47Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• Domain Adaptive Nuclei Instance Segmentation and Classification via Category-aware Feature Alignment and Pseudo-labelling [65.40672505658213]
  本稿では, UDA 核インスタンス分割と分類のための新しいディープニューラルネットワークである Category-Aware 機能アライメントと Pseudo-Labelling Network (CAPL-Net) を提案する。 我々のアプローチは、最先端のUDA手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2022-07-04T07:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。