論文の概要: SAM-I-Am: Semantic Boosting for Zero-shot Atomic-Scale Electron Micrograph Segmentation
- arxiv url: http://arxiv.org/abs/2404.06638v1
- Date: Tue, 9 Apr 2024 22:17:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 15:59:05.404158
- Title: SAM-I-Am: Semantic Boosting for Zero-shot Atomic-Scale Electron Micrograph Segmentation
- Title(参考訳): SAM-I-Am:Zero-shot Atomic-Scale Electron Micrograph Segmentationのためのセマンティックブースティング
- Authors: Waqwoya Abebe, Jan Strube, Luanzheng Guo, Nathan R. Tallent, Oceane Bel, Steven Spurgeon, Christina Doty, Ali Jannesari,
- Abstract要約: 最先端の基盤モデルは、ドメインによって無意味で誤った結果を生成することができる。
微調整と再訓練は特定の領域では不可能である。
セマンティック・ブースティング(セマンティック・ブースティング)を提案する: ゼロショット基礎モデルが与えられた場合、セマンティック・セグメンテーションをガイドし、ドメインの期待に合うように結果を調整する。
我々は、(絶対)+21.35%、+12.6%、+5.27%の平均IoU、-9.91%、-18.42%、-4.06%のゼロショット性能向上を示す。
- 参考スコア(独自算出の注目度): 4.967064378914305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image segmentation is a critical enabler for tasks ranging from medical diagnostics to autonomous driving. However, the correct segmentation semantics - where are boundaries located? what segments are logically similar? - change depending on the domain, such that state-of-the-art foundation models can generate meaningless and incorrect results. Moreover, in certain domains, fine-tuning and retraining techniques are infeasible: obtaining labels is costly and time-consuming; domain images (micrographs) can be exponentially diverse; and data sharing (for third-party retraining) is restricted. To enable rapid adaptation of the best segmentation technology, we propose the concept of semantic boosting: given a zero-shot foundation model, guide its segmentation and adjust results to match domain expectations. We apply semantic boosting to the Segment Anything Model (SAM) to obtain microstructure segmentation for transmission electron microscopy. Our booster, SAM-I-Am, extracts geometric and textural features of various intermediate masks to perform mask removal and mask merging operations. We demonstrate a zero-shot performance increase of (absolute) +21.35%, +12.6%, +5.27% in mean IoU, and a -9.91%, -18.42%, -4.06% drop in mean false positive masks across images of three difficulty classes over vanilla SAM (ViT-L).
- Abstract(参考訳): イメージセグメンテーションは、医療診断から自律運転まで、タスクにとって重要なイネーブルである。
しかし、正しいセグメンテーションセマンティクス - 境界はどこにあるのか?
どのセグメントが論理的に似ていますか?
- 最先端の基盤モデルが無意味で誤った結果を生み出すことができるように、ドメインによって変化します。
さらに、一部のドメインでは、ラベルの取得にはコストがかかり、時間がかかり、ドメイン画像(マイクログラフ)は指数関数的に多様性があり、データ共有(サードパーティのリトレーニング)は制限される。
最良セグメンテーション技術の迅速な適応を実現するため、ゼロショット基礎モデルが与えられた場合、セグメンテーションをガイドし、ドメインの期待に合うように結果を調整するセグメンテーションの概念を提案する。
本研究では,Segment Anything Model (SAM) にセマンティック・ブースティングを適用し,透過電子顕微鏡のためのミクロ構造セマンティック・セマンティック・セマンティック・セマンティクスを求める。
我々のブースターSAM-I-Amは、様々な中間マスクの幾何学的およびテクスチャ的特徴を抽出し、マスク除去およびマスクマージ操作を行う。
我々は、(絶対)+21.35%、+12.6%、+5.27%、平均IoU、-9.91%、-18.42%、-4.06%のゼロショット性能が、バニラSAM(ViT-L)よりも難易度の高い3つの画像にまたがって、平均偽陽性マスクを減少させることを示した。
関連論文リスト
- Test-Time Adaptation with SaLIP: A Cascade of SAM and CLIP for Zero shot Medical Image Segmentation [10.444726122035133]
臓器分割のための単純な統合フレームワークSaLIPを提案する。
SAMは画像内の部分ベースのセグメンテーションに使用され、CLIPは関心領域に対応するマスクを検索する。
最後に、SAMは検索されたROIによって特定の臓器を分節するように促される。
論文 参考訳(メタデータ) (2024-04-09T14:56:34Z) - Uncertainty-Aware Adapter: Adapting Segment Anything Model (SAM) for Ambiguous Medical Image Segmentation [20.557472889654758]
Segment Anything Model (SAM) は自然画像のセグメンテーションにおいて大きな成功を収めた。
自然画像とは異なり、医療画像の多くの組織や病変はぼやけており、曖昧である可能性がある。
本研究では,不確実性を認識した医療画像のセグメンテーションのためにSAMを効率よく微調整するUncertainty-aware Adapterという新しいモジュールを提案する。
論文 参考訳(メタデータ) (2024-03-16T14:11:54Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳(メタデータ) (2023-12-28T18:59:04Z) - I-MedSAM: Implicit Medical Image Segmentation with Segment Anything [25.479086547001177]
I-MedSAMは、連続表現とSegment Anything Model(SAM)の両方の利点を利用して、ドメイン横断能力と正確な境界線を求める。
Inlicit Neural Representation (INR) の効率的な学習のための不確実性誘導型サンプリング戦略を提案する。
トレーニング可能なパラメータが1.6Mしかない提案手法は、離散的および連続的な手法を含む既存の手法よりも優れている。
論文 参考訳(メタデータ) (2023-11-28T00:43:52Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge
for Semi-Supervised Learning in Medical Image Segmentation [27.044797468878837]
Segment Anything Model (SAM)は、自然画像に広範囲のオブジェクトを分割する機能を示す。
本稿では、SAMとドメイン固有の知識を組み合わせて、ラベルなし画像の信頼性の高い利用法を提案する。
本研究は,医用画像セグメンテーションのための半教師あり学習の新たな方向性を創出する。
論文 参考訳(メタデータ) (2023-08-26T04:46:10Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳(メタデータ) (2023-07-10T17:59:40Z) - Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot
Segmentation on Whole Slide Imaging [12.533476185972527]
画像セグメンテーションの基礎モデルとしてセグメンテーションモデル(SAM)がリリースされた。
スライド画像全体(WSI)における代表セグメンテーションタスクにおけるSAMモデルのゼロショットセグメンテーション性能を評価する。
その結果,0ショットSAMモデルは大きな連結オブジェクトに対して顕著なセグメンテーション性能を実現することが示唆された。
論文 参考訳(メタデータ) (2023-04-09T04:06:59Z) - Self-Supervised Correction Learning for Semi-Supervised Biomedical Image
Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。
共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。
異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文 参考訳(メタデータ) (2023-01-12T08:19:46Z) - Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。
最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。
これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
論文 参考訳(メタデータ) (2021-05-12T13:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。