論文の概要: Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2412.13742v1
• Date: Wed, 18 Dec 2024 11:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:48:05.394711
• Title: Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation
• Title（参考訳）: 半教師型医用画像セグメンテーションにおけるSAMによる知識蒸留の学習
• Authors: Kaiwen Huang, Tao Zhou, Huazhu Fu, Yizhe Zhang, Yi Zhou, Chen Gong, Dong Liang,
• Abstract要約: 半教師型医用画像分割のための知識蒸留フレームワークKnowSAMを提案する。 我々のモデルは最先端の半教師付きセグメンテーションアプローチより優れている。
• 参考スコア（独自算出の注目度）: 47.789013598970925
• License:
• Abstract: The limited availability of labeled data has driven advancements in semi-supervised learning for medical image segmentation. Modern large-scale models tailored for general segmentation, such as the Segment Anything Model (SAM), have revealed robust generalization capabilities. However, applying these models directly to medical image segmentation still exposes performance degradation. In this paper, we propose a learnable prompting SAM-induced Knowledge distillation framework (KnowSAM) for semi-supervised medical image segmentation. Firstly, we propose a Multi-view Co-training (MC) strategy that employs two distinct sub-networks to employ a co-teaching paradigm, resulting in more robust outcomes. Secondly, we present a Learnable Prompt Strategy (LPS) to dynamically produce dense prompts and integrate an adapter to fine-tune SAM specifically for medical image segmentation tasks. Moreover, we propose SAM-induced Knowledge Distillation (SKD) to transfer useful knowledge from SAM to two sub-networks, enabling them to learn from SAM's predictions and alleviate the effects of incorrect pseudo-labels during training. Notably, the predictions generated by our subnets are used to produce mask prompts for SAM, facilitating effective inter-module information exchange. Extensive experimental results on various medical segmentation tasks demonstrate that our model outperforms the state-of-the-art semi-supervised segmentation approaches. Crucially, our SAM distillation framework can be seamlessly integrated into other semi-supervised segmentation methods to enhance performance. The code will be released upon acceptance of this manuscript at: https://github.com/taozh2017/KnowSAM
• Abstract（参考訳）: ラベル付きデータの限られた利用は、医用画像セグメンテーションのための半教師付き学習の進歩を促している。 SAM(Segment Anything Model)のような一般的なセグメンテーションに適した現代の大規模モデルは、堅牢な一般化能力を明らかにしている。 しかし、これらのモデルを医用画像セグメントに直接適用すると、パフォーマンスが低下する。 本稿では,半教師型医用画像分割のための知識蒸留フレームワークKnowSAMを提案する。 まず,2つの異なるサブネットワークを用いて協調学習パラダイムを採用するマルチビュー協調学習(MC)戦略を提案し,その結果,より堅牢な結果が得られた。 第2に,高密度なプロンプトを動的に生成し,医療画像セグメンテーションタスクに特化してSAMを微調整するためのアダプタを統合するためのLearningable Prompt Strategy(LPS)を提案する。 さらに,SAMによって誘導される知識蒸留(SKD)により,SAMから2つのサブネットワークへ有用な知識を伝達し,SAMの予測から学習し,トレーニング中の誤った擬似ラベルの効果を軽減する。 特に,我々のサブネットが生成した予測を用いてSAMのマスクプロンプトを生成し,効果的なモジュール間情報交換を容易にする。 種々の医学的セグメンテーションタスクに関する大規模な実験結果から、我々のモデルは最先端の半教師付きセグメンテーションアプローチよりも優れていることが示された。 重要なことは、SAM蒸留フレームワークを他の半教師付きセグメンテーション手法にシームレスに統合して性能を向上させることができる。 https://github.com/taozh2017/KnowSAM

関連論文リスト

• SEG-SAM: Semantic-Guided SAM for Unified Medical Image Segmentation [13.037264314135033]
  本稿ではセマンティックガイドSAM(SEG-SAM)を提案する。 まず、バイナリとセマンティック予測の潜在的な衝突を避けるために、SAMの元々のデコーダとは独立にセマンティック・アウェア・デコーダを導入する。 我々は、大規模言語モデルから医療カテゴリーの重要な特徴を抽出し、テキスト・ツー・ビジョン・セマンティック・モジュールを通じてSEG-SAMに組み込む。 最後に、SEG-SAMの2つのデコーダから予測されたマスク間の重なり合いを促進するために、マスク間空間アライメント戦略を導入する。
  論文  参考訳（メタデータ） (2024-12-17T08:29:13Z)
• Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
  医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。 我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。 医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
  論文  参考訳（メタデータ） (2024-06-03T03:16:25Z)
• Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding [15.401507589312702]
  本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。 初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。 我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
  論文  参考訳（メタデータ） (2024-03-27T05:55:16Z)
• Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively [69.97238935096094]
  Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。 約22,000のクラスを分類・認識できる。
  論文  参考訳（メタデータ） (2024-01-05T18:59:22Z)
• SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization [23.28335241083164]
  半教師付き手法はラベルのないデータを利用することで性能を向上させることができる。 SemiSAMは、ラベル付き画像が1つまたは数つしか利用できない場合、既存の半教師付きフレームワークのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-11T12:03:30Z)
• Segment Anything Model-guided Collaborative Learning Network for Scribble-supervised Polyp Segmentation [45.15517909664628]
  ポリープのセグメンテーションは、初期におけるポリープの正確な位置決定に重要な役割を担っている。 診断中の医師によるポリープ画像に対するピクセルワイドアノテーションは、時間と費用の両方がかかる。 本稿では,スクリブル制御ポリプセグメンテーションのためのSAM誘導協調学習ネットワーク(SAM-CLNet)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T03:07:13Z)
• Guided Prompting in SAM for Weakly Supervised Cell Segmentation in Histopathological Images [27.14641973632063]
  本稿では、セグメンタを誘導するために、関連するタスクからのアノテーションである弱い監視を使用することに焦点を当てる。 SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。 すべてのSAMベースのソリューションは、既存の弱教師付きイメージセグメンテーションモデルを大幅に上回り、9～15 ptのDiceゲインを得る。
  論文  参考訳（メタデータ） (2023-11-29T11:18:48Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
  Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。 近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。 ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
  論文  参考訳（メタデータ） (2023-04-25T07:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。