論文の概要: MAS-SAM: Segment Any Marine Animal with Aggregated Features

• arxiv url: http://arxiv.org/abs/2404.15700v2
• Date: Thu, 9 May 2024 06:20:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 17:29:35.195515
• Title: MAS-SAM: Segment Any Marine Animal with Aggregated Features
• Title（参考訳）: MAS-SAM: 群集した特徴を持つ海洋動物を隔離する
• Authors: Tianyu Yan, Zifu Wan, Xinhao Deng, Pingping Zhang, Yang Liu, Huchuan Lu,
• Abstract要約: そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。 本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
• 参考スコア（独自算出の注目度）: 55.91291540810978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Segment Anything Model (SAM) shows exceptional performance in generating high-quality object masks and achieving zero-shot image segmentation. However, as a versatile vision model, SAM is primarily trained with large-scale natural light images. In underwater scenes, it exhibits substantial performance degradation due to the light scattering and absorption. Meanwhile, the simplicity of the SAM's decoder might lead to the loss of fine-grained object details. To address the above issues, we propose a novel feature learning framework named MAS-SAM for marine animal segmentation, which involves integrating effective adapters into the SAM's encoder and constructing a pyramidal decoder. More specifically, we first build a new SAM's encoder with effective adapters for underwater scenes. Then, we introduce a Hypermap Extraction Module (HEM) to generate multi-scale features for a comprehensive guidance. Finally, we propose a Progressive Prediction Decoder (PPD) to aggregate the multi-scale features and predict the final segmentation results. When grafting with the Fusion Attention Module (FAM), our method enables to extract richer marine information from global contextual cues to fine-grained local details. Extensive experiments on four public MAS datasets demonstrate that our MAS-SAM can obtain better results than other typical segmentation methods. The source code is available at https://github.com/Drchip61/MAS-SAM.
• Abstract（参考訳）: 近年、SAM(Segment Anything Model)は、高品質なオブジェクトマスクを生成し、ゼロショット画像のセグメンテーションを実現する際、例外的な性能を示す。 しかし、多用途視覚モデルとして、SAMは主に大規模な自然光画像で訓練されている。 水中のシーンでは、光散乱と吸収により性能が著しく低下する。 一方、SAMのデコーダの単純さは、きめ細かいオブジェクトの詳細を損なう可能性がある。 以上の課題に対処するため,海洋動物セグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。 より具体的には、水中シーン用の効果的なアダプタを備えたSAMエンコーダを最初に構築する。 次に,ハイパーマップ抽出モジュール (HEM) を導入し,包括的ガイダンスのためのマルチスケール機能を生成する。 最後に,マルチスケール特徴を集約し,最終的なセグメンテーション結果を予測するプログレッシブ予測デコーダ(PPD)を提案する。 本研究では,Fusion Attention Module (FAM) を移植することにより,グローバルな文脈的手がかりからよりリッチな海洋情報をよりきめ細かな局所的詳細まで抽出することができる。 4つのパブリックMASデータセットに対する大規模な実験により、我々のMAS-SAMは、他の典型的なセグメンテーション手法よりも優れた結果が得られることを示した。 ソースコードはhttps://github.com/Drchip61/MAS-SAMで入手できる。

関連論文リスト

• Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
  SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。 第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。 これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
  論文  参考訳（メタデータ） (2024-04-18T17:59:53Z)
• Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM [62.85895749882285]
  海洋動物(英: Marine Animal、MAS)は、海洋環境に生息する動物を分類する動物である。 高性能MASのための新しい特徴学習フレームワークDual-SAMを提案する。 提案手法は,広く使用されている5つのMASデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-04-07T15:34:40Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• PA-SAM: Prompt Adapter SAM for High-Quality Image Segmentation [19.65118388712439]
  本稿では,新しいプロンプト駆動型アダプタであるPrompt Adapter Segment Anything Model(PA-SAM)を紹介する。 PA-SAMはプロンプトアダプタを専用にトレーニングすることで、画像から詳細な情報を抽出し、スパースレベルとディーププロンプトレベルの両方でマスクデコーダ機能を最適化する。 実験の結果,PA-SAMは他のSAM法よりも高品質,ゼロショット,オープンセットのセグメンテーションで優れていた。
  論文  参考訳（メタデータ） (2024-01-23T19:20:22Z)
• TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
  我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。 本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。 また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
  論文  参考訳（メタデータ） (2023-12-21T12:26:11Z)
• EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything [36.553867358541154]
  Segment Anything Model (SAM)は多くの視覚アプリケーションのための強力なツールとして登場した。 本稿では,軽量なSAMモデルであるEfficientSAMを提案する。 我々のアイデアは、SAM画像エンコーダから特徴を再構築し、効果的な視覚的表現学習を実現するためのマスク付き画像事前学習(SAMI)を活用することに基づいている。
  論文  参考訳（メタデータ） (2023-12-01T18:31:00Z)
• AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt Encoder [101.28268762305916]
  この作業では、Segment Anything Modelを同じ入力イメージで動作するエンコーダに置き換える。 複数の医用画像とビデオのベンチマークで最先端の結果を得る。 内部の知識を検査し、軽量なセグメンテーションソリューションを提供するために、浅いデコンボリューションネットワークによってマスクに復号化することを学ぶ。
  論文  参考訳（メタデータ） (2023-06-10T07:27:00Z)
• Segment Anything in High Quality [116.39405160133315]
  そこで本研究では,SAM のプロンプト可能な設計,効率,ゼロショットの一般化性を維持しつつ,任意のオブジェクトを正確にセグメント化できる HQ-SAM を提案する。 注意深い設計はSAMの事前訓練されたモデルの重みを再利用し、保存し、最小限の追加パラメータと計算しか導入しない。 ダウンストリームタスクにまたがる10種類のセグメンテーションデータセットでHQ-SAMの有効性を示し,そのうち8つをゼロショット転送プロトコルで評価した。
  論文  参考訳（メタデータ） (2023-06-02T14:23:59Z)
• Customized Segment Anything Model for Medical Image Segmentation [10.933449793055313]
  我々は,大規模画像分割モデルであるSAM(Segment Anything Model)に基づいて,医用画像分割のための大規模モデルをカスタマイズする新たな研究パラダイムを探求する。 SAMedは、SAMイメージエンコーダにローランクベース(LoRA)ファインタニング戦略を適用し、ラベル付き医用画像セグメンテーションデータセットにプロンプトエンコーダとマスクデコーダを併用する。 我々の訓練されたSAMedモデルは,最先端の手法に匹敵する医用画像のセマンティックセグメンテーションを実現する。
  論文  参考訳（メタデータ） (2023-04-26T19:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。