Fugu-MT 論文翻訳(概要): Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding

論文の概要: Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding

arxiv url: http://arxiv.org/abs/2403.18271v1
Date: Wed, 27 Mar 2024 05:55:16 GMT
ステータス: 処理完了
システム内更新日: 2024-03-28 18:16:31.397620
Title: Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding
Title（参考訳）: 階層的復号化による医療適応のためのSAMの可能性
Authors: Zhiheng Cheng, Qingyue Wei, Hongru Zhu, Yan Wang, Liangqiong Qu, Wei Shao, Yuyin Zhou,
Abstract要約: 本稿では,医療画像の高速微調整のためのSegment Anything Model (SAM) の即時適応であるH-SAMを紹介する。初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスの導出として、以前の確率マスクを生成する。我々のH-SAMは、既存のプロンプトフリーSAMよりも平均Diceが4.78%改善していることを示す。
参考スコア（独自算出の注目度）: 15.401507589312702
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The Segment Anything Model (SAM) has garnered significant attention for its versatile segmentation abilities and intuitive prompt-based interface. However, its application in medical imaging presents challenges, requiring either substantial training costs and extensive medical datasets for full model fine-tuning or high-quality prompts for optimal performance. This paper introduces H-SAM: a prompt-free adaptation of SAM tailored for efficient fine-tuning of medical images via a two-stage hierarchical decoding procedure. In the initial stage, H-SAM employs SAM's original decoder to generate a prior probabilistic mask, guiding a more intricate decoding process in the second stage. Specifically, we propose two key designs: 1) A class-balanced, mask-guided self-attention mechanism addressing the unbalanced label distribution, enhancing image embedding; 2) A learnable mask cross-attention mechanism spatially modulating the interplay among different image regions based on the prior mask. Moreover, the inclusion of a hierarchical pixel decoder in H-SAM enhances its proficiency in capturing fine-grained and localized details. This approach enables SAM to effectively integrate learned medical priors, facilitating enhanced adaptation for medical image segmentation with limited samples. Our H-SAM demonstrates a 4.78% improvement in average Dice compared to existing prompt-free SAM variants for multi-organ segmentation using only 10% of 2D slices. Notably, without using any unlabeled data, H-SAM even outperforms state-of-the-art semi-supervised models relying on extensive unlabeled training data across various medical datasets. Our code is available at https://github.com/Cccccczh404/H-SAM.
Abstract（参考訳）: Segment Anything Model (SAM) は、多目的なセグメンテーション能力と直感的なプロンプトベースのインターフェースに対して大きな注目を集めている。しかし、医用画像へのその応用は、十分なトレーニングコストと、フルモデルの微調整のために広範囲な医療データセットを必要とするか、最適なパフォーマンスのために高品質なプロンプトを必要とする課題を提示する。本稿では,H-SAMについて述べる。H-SAMは2段階の階層的復号法を用いて,医用画像の効率的な微調整に適したSAMの即時適応である。初期段階では、H-SAMはSAMのオリジナルのデコーダを使用して、より複雑なデコードプロセスを第2段階で導く、事前確率マスクを生成する。具体的には,2つの重要な設計を提案する。 1)不均衡なラベル分布に対処し,画像の埋め込みを増強する,階級バランス・マスク誘導型自己注意機構 2) 前者のマスクに基づいて異なる画像領域間の相互作用を空間的に調節する学習可能なマスククロスアテンション機構。さらに、階層的なピクセルデコーダをH-SAMに組み込むことで、細粒度で局所的な細部を捉える能力が向上する。この手法により、SAMは学習済みの医学的先行情報を効果的に統合することができ、限られたサンプルで医用画像のセグメンテーションに適応しやすくする。我々のH-SAMは,2Dスライスを10%だけ使用して,既存のプロンプトフリーSAM変異体と比較して平均Diceが4.78%改善したことを示す。特に、ラベルなしのデータを使わずに、H-SAMは、さまざまな医学データセットにわたるラベルなしトレーニングデータに依存する最先端の半教師付きモデルよりも優れています。私たちのコードはhttps://github.com/Cccccczh404/H-SAMで公開されています。

関連論文リスト

SAM-MPA: Applying SAM to Few-shot Medical Image Segmentation using Mask Propagation and Auto-prompting [6.739803086387235]
医用画像のセグメンテーションは、しばしば高額なアノテーションコストの課題に直面している。本稿では,10億枚以上のマスクで事前学習したセグメンション・アプライシング・モデル(SAM)を活用することを提案する。 SAM-MPA は,医療画像の断片化のためのイノベーティブな SAM ベースのフレームワークである。
論文参考訳（メタデータ） (2024-11-26T12:12:12Z)
SAM-I2I: Unleash the Power of Segment Anything Model for Medical Image Translation [0.9626666671366836]
SAM-I2Iは,Segment Anything Model 2 (SAM2) に基づく新しい画像から画像への変換フレームワークである。マルチコントラストMRIデータセットを用いた実験により、SAM-I2Iは最先端の手法より優れており、より効率的かつ正確な医用画像翻訳を提供することが示された。
論文参考訳（メタデータ） (2024-11-13T03:30:10Z)
DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
論文参考訳（メタデータ） (2024-10-05T14:36:43Z)
MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文参考訳（メタデータ） (2024-04-24T07:38:14Z)
MaskSAM: Towards Auto-prompt SAM with Mask Classification for Medical Image Segmentation [18.125292369318576]
MaskSAMは、医療画像セグメンテーションのためのマスク分類プロンプトフリー適応フレームワークである。本手法は,AMOS2022,90.52%のDice上での最先端性能を実現し,nnUNetに比べて2.7%向上した。
論文参考訳（メタデータ） (2024-03-21T03:28:24Z)
WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文参考訳（メタデータ） (2024-03-14T10:30:43Z)
MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文参考訳（メタデータ） (2023-09-16T02:41:53Z)
SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
論文参考訳（メタデータ） (2023-08-17T02:51:01Z)
How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
論文参考訳（メタデータ） (2023-06-23T18:34:30Z)
AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt Encoder [101.28268762305916]
この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。複数の医用画像とビデオのベンチマークで最先端の結果を得る。内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
論文参考訳（メタデータ） (2023-06-10T07:27:00Z)
Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文参考訳（メタデータ） (2023-04-25T07:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。