論文の概要: SAM on Medical Images: A Comprehensive Study on Three Prompt Modes
- arxiv url: http://arxiv.org/abs/2305.00035v1
- Date: Fri, 28 Apr 2023 18:18:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 17:37:35.036824
- Title: SAM on Medical Images: A Comprehensive Study on Three Prompt Modes
- Title（参考訳）: SAM on Medical Images : 3つのプロンプトモードに関する総合的研究
- Authors: Dongjie Cheng, Ziyuan Qin, Zekun Jiang, Shaoting Zhang, Qicheng Lao,
Kang Li
- Abstract要約: Segment Anything Model(SAM)が最近デビューし、多くの研究者がゼロショットの一般化能力の観点からその可能性と限界を探究した。
本稿では,SAMが医用画像分割タスクの基礎モデルになる可能性について評価する。
また、異なるモダリティを持つ最高のゼロショットパフォーマンスに、どのようなプロンプトが導くかについても検討する。
- 参考スコア（独自算出の注目度）: 12.42280534113305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Segment Anything Model (SAM) made an eye-catching debut recently and
inspired many researchers to explore its potential and limitation in terms of
zero-shot generalization capability. As the first promptable foundation model
for segmentation tasks, it was trained on a large dataset with an unprecedented
number of images and annotations. This large-scale dataset and its promptable
nature endow the model with strong zero-shot generalization. Although the SAM
has shown competitive performance on several datasets, we still want to
investigate its zero-shot generalization on medical images. As we know, the
acquisition of medical image annotation usually requires a lot of effort from
professional practitioners. Therefore, if there exists a foundation model that
can give high-quality mask prediction simply based on a few point prompts, this
model will undoubtedly become the game changer for medical image analysis. To
evaluate whether SAM has the potential to become the foundation model for
medical image segmentation tasks, we collected more than 12 public medical
image datasets that cover various organs and modalities. We also explore what
kind of prompt can lead to the best zero-shot performance with different
modalities. Furthermore, we find that a pattern shows that the perturbation of
the box size will significantly change the prediction accuracy. Finally,
Extensive experiments show that the predicted mask quality varied a lot among
different datasets. And providing proper prompts, such as bounding boxes, to
the SAM will significantly increase its performance.
- Abstract（参考訳）: Segment Anything Model(SAM)が最近デビューし、多くの研究者がゼロショットの一般化能力の観点からその可能性と限界を探究した。
セグメンテーションタスクの最初の迅速な基礎モデルとして、前例のない数の画像とアノテーションを持つ大規模なデータセットでトレーニングされた。
この大規模データセットとその即効性は、モデルに強いゼロショット一般化を与える。
samはいくつかのデータセットで競争力のある性能を示しているが、医療画像のゼロショット一般化についても調査したい。
私たちが知っているように、医療画像アノテーションの取得は通常、専門家の努力を必要とする。
したがって、数点プロンプトだけで高品質のマスク予測ができる基礎モデルが存在するとすれば、このモデルは間違いなく医療画像解析のゲームチェンジャーとなるだろう。
SAMが医用画像セグメンテーションタスクの基礎モデルになる可能性を評価するために, 様々な臓器やモダリティをカバーする12以上の公開医用画像データセットを収集した。
我々はまた、どのようなプロンプトが、異なるモダリティを持つ最高のゼロショットパフォーマンスにつながるかを探ります。
さらに,箱の大きさの摂動が予測精度を大きく変化させることを示すパターンが得られた。
最後に、Extensive実験は、予測されたマスクの品質が、異なるデータセット間で大きく変化することを示した。
また、SAMにバウンディングボックスのような適切なプロンプトを提供することで、パフォーマンスが大幅に向上する。
関連論文リスト
- SAM-UNet:Enhancing Zero-Shot Segmentation of SAM for Universal Medical Images [40.4422523499489]
Segment Anything Model (SAM) は、様々な自然画像のセグメンテーションタスクにおいて印象的な性能を示した。
本稿では,U-Netを元のSAMに組み込んだ新たな基盤モデルSAMUNetを提案する。
我々は,SA-Med2D-16MでSAM-UNetをトレーニングした。
論文 参考訳（メタデータ） (2024-08-19T11:01:00Z) - Testing the Segment Anything Model on radiology data [0.0]
Segment Anything Model (SAM)が最近提案され、画像セグメンテーションのための最初の基礎モデルとなっている。
非常に限られた症例では受け入れられるが、全体的な傾向から、これらのモデルがMRIセグメンテーションに不十分であることがわかる。
自然画像に基づいて訓練された基礎モデルは、予測モデリングの重要な側面となるが、他の画像モダリティで使用すると効果がないことが証明される。
論文 参考訳（メタデータ） (2023-12-20T09:45:21Z) - On the Out of Distribution Robustness of Foundation Models in Medical
Image Segmentation [47.95611203419802]
視覚と言語の基礎は、様々な自然画像とテキストデータに基づいて事前訓練されており、有望なアプローチとして現れている。
一般化性能を,同じ分布データセット上で微調整した後,事前学習した各種モデルの未確認領域と比較した。
さらに,凍結モデルに対する新しいベイズ不確実性推定法を開発し,分布外データに基づくモデルの性能評価指標として利用した。
論文 参考訳（メタデータ） (2023-11-18T14:52:10Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳（メタデータ） (2023-09-16T02:41:53Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Towards Segment Anything Model (SAM) for Medical Image Segmentation: A
Survey [8.76496233192512]
本稿では,セグメンテーションモデルの成功を医療画像のセグメンテーションタスクに拡張する取り組みについて論じる。
医用画像解析の基礎モデルを開発するために、将来の研究を導くために多くの洞察が導かれる。
論文 参考訳（メタデータ） (2023-05-05T16:48:45Z) - Generalist Vision Foundation Models for Medical Imaging: A Case Study of
Segment Anything Model on Zero-Shot Medical Segmentation [5.547422331445511]
9つの医用画像セグメンテーションベンチマークにおいて,定量および定性的ゼロショットセグメンテーションの結果を報告する。
本研究は,医用画像における一般視基盤モデルの汎用性を示すものである。
論文 参考訳（メタデータ） (2023-04-25T08:07:59Z) - Medical SAM Adapter: Adapting Segment Anything Model for Medical Image
Segmentation [51.770805270588625]
Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。
近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。
ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
論文 参考訳（メタデータ） (2023-04-25T07:34:22Z) - Segment Anything Model for Medical Image Analysis: an Experimental Study [19.95972201734614]
Segment Anything Model (SAM) は、ユーザ定義オブジェクトをインタラクティブな方法でセグメント化する基礎モデルである。
SAMの医用画像の分類能力について,各種のモダリティと解剖から,19の医用画像データセットの集合体を用いて評価した。
論文 参考訳（メタデータ） (2023-04-20T17:50:18Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - Segment Anything [108.16489338211093]
私たちはこれまでで最大のセグメンテーションデータセットを構築し、1100万ライセンスのマスクを10億枚以上使用し、画像のプライバシーを尊重しています。
このモデルは、高速に撮影できるように設計および訓練されており、ゼロショットを新しい画像配信やタスクに転送することができる。
多数のタスクでその能力を評価した結果、ゼロショット性能は印象的であることが判明した。
論文 参考訳（メタデータ） (2023-04-05T17:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。