論文の概要: Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM

• arxiv url: http://arxiv.org/abs/2404.04996v1
• Date: Sun, 7 Apr 2024 15:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 16:22:29.670593
• Title: Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM
• Title（参考訳）: 絶滅危惧動物と発見場所:二枚貝で海産動物を選別する
• Authors: Pingping Zhang, Tianyu Yan, Yang Liu, Huchuan Lu,
• Abstract要約: 海洋動物(英: Marine Animal、MAS)は、海洋環境に生息する動物を分類する動物である。 高性能MASのための新しい特徴学習フレームワークDual-SAMを提案する。 提案手法は,広く使用されている5つのMASデータセットの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 62.85895749882285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an important pillar of underwater intelligence, Marine Animal Segmentation (MAS) involves segmenting animals within marine environments. Previous methods don't excel in extracting long-range contextual features and overlook the connectivity between discrete pixels. Recently, Segment Anything Model (SAM) offers a universal framework for general segmentation tasks. Unfortunately, trained with natural images, SAM does not obtain the prior knowledge from marine images. In addition, the single-position prompt of SAM is very insufficient for prior guidance. To address these issues, we propose a novel feature learning framework, named Dual-SAM for high-performance MAS. To this end, we first introduce a dual structure with SAM's paradigm to enhance feature learning of marine images. Then, we propose a Multi-level Coupled Prompt (MCP) strategy to instruct comprehensive underwater prior information, and enhance the multi-level features of SAM's encoder with adapters. Subsequently, we design a Dilated Fusion Attention Module (DFAM) to progressively integrate multi-level features from SAM's encoder. Finally, instead of directly predicting the masks of marine animals, we propose a Criss-Cross Connectivity Prediction (C$^3$P) paradigm to capture the inter-connectivity between discrete pixels. With dual decoders, it generates pseudo-labels and achieves mutual supervision for complementary feature representations, resulting in considerable improvements over previous techniques. Extensive experiments verify that our proposed method achieves state-of-the-art performances on five widely-used MAS datasets. The code is available at https://github.com/Drchip61/Dual_SAM.
• Abstract（参考訳）: 海洋生物セグメンテーション(英: Marine Animal Segmentation、MAS)は、海洋生物を海洋環境に分割することを含む、海洋生物インテリジェンスの重要な柱である。 従来の手法では、長距離のコンテキスト特徴の抽出に優れておらず、個々のピクセル間の接続性を見落としている。 最近、Segment Anything Model (SAM) は一般的なセグメンテーションタスクのための普遍的なフレームワークを提供している。 残念なことに、SAMは自然画像の訓練を受けており、海洋画像から事前の知識を得られていない。 加えて、SAMの単一配置プロンプトは事前のガイダンスには不十分である。 これらの課題に対処するため,高性能MASのための新しい特徴学習フレームワークDual-SAMを提案する。 そこで本研究では,海洋画像の特徴学習を強化するために,SAMのパラダイムを用いた二重構造を導入する。 そこで我々は,包括的水中事前情報を指示し,SAMエンコーダのマルチレベル特徴をアダプタで強化するマルチレベル結合プロンプト(MCP)戦略を提案する。 その後,Dilated Fusion Attention Module (DFAM) を設計し,SAMエンコーダのマルチレベル機能を段階的に統合する。 最後に, 海洋生物のマスクを直接予測する代わりに, 離散画素間の接続性を捉えるためにCriss-Cross Connectivity Prediction (C$^3$P) パラダイムを提案する。 デュアルデコーダでは、擬似ラベルを生成し、補完的な特徴表現の相互監督を実現し、従来の手法よりも大幅に改善される。 広範に使われている5つのMASデータセット上で,提案手法が最先端の性能を達成することを実証した。 コードはhttps://github.com/Drchip61/Dual_SAMで公開されている。

関連論文リスト

• DB-SAM: Delving into High Quality Universal Medical Image Segmentation [100.63434169944853]
  本稿では,2次元医療データと2次元医療データとのギャップを埋めるために,DB-SAMという二分岐型SAMフレームワークを提案する。 文献における最近の医療用SAMアダプタと比較して,DB-SAMは8.8%向上した。
  論文  参考訳（メタデータ） (2024-10-05T14:36:43Z)
• FusionSAM: Latent Space driven Segment Anything Model for Multimodal Fusion and Segmentation [37.74045675588487]
  SAMをマルチモーダル画像セグメンテーションに初めて導入する。 本稿では、SAMのマルチモーダル融合とセグメンテーション機能を強化するために、LSTG(Latent Space Token Generation)とFMP(Fusion Mask Prompting)モジュールを組み合わせた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-26T02:20:55Z)
• SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
  我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。 本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-16T17:55:38Z)
• Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
  Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。 実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。 実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
  論文  参考訳（メタデータ） (2024-08-08T09:09:37Z)
• FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
  Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。 2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。 まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。 次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T02:34:13Z)
• MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
  そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。 本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
  論文  参考訳（メタデータ） (2024-04-24T07:38:14Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。