論文の概要: Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection
- arxiv url: http://arxiv.org/abs/2408.04326v1
- Date: Thu, 8 Aug 2024 09:09:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 15:58:21.052929
- Title: Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection
- Title（参考訳）: 有能な物体検出のためのマルチスケール・詳細拡張セグメンテーションモデル
- Authors: Shixuan Gao, Pingping Zhang, Tianyu Yan, Huchuan Lu,
- Abstract要約: Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
- 参考スコア（独自算出の注目度）: 58.241593208031816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Salient Object Detection (SOD) aims to identify and segment the most prominent objects in images. Advanced SOD methods often utilize various Convolutional Neural Networks (CNN) or Transformers for deep feature extraction. However, these methods still deliver low performance and poor generalization in complex cases. Recently, Segment Anything Model (SAM) has been proposed as a visual fundamental model, which gives strong segmentation and generalization capabilities. Nonetheless, SAM requires accurate prompts of target objects, which are unavailable in SOD. Additionally, SAM lacks the utilization of multi-scale and multi-level information, as well as the incorporation of fine-grained details. To address these shortcomings, we propose a Multi-scale and Detail-enhanced SAM (MDSAM) for SOD. Specifically, we first introduce a Lightweight Multi-Scale Adapter (LMSA), which allows SAM to learn multi-scale information with very few trainable parameters. Then, we propose a Multi-Level Fusion Module (MLFM) to comprehensively utilize the multi-level information from the SAM's encoder. Finally, we propose a Detail Enhancement Module (DEM) to incorporate SAM with fine-grained details. Experimental results demonstrate the superior performance of our model on multiple SOD datasets and its strong generalization on other segmentation tasks. The source code is released at https://github.com/BellyBeauty/MDSAM.
- Abstract（参考訳）: Salient Object Detection (SOD) は、画像中の最も顕著なオブジェクトを識別し、セグメント化することを目的としている。
高度なSOD法は、様々な畳み込みニューラルネットワーク(CNN)や変換器を深い特徴抽出に利用することが多い。
しかし、これらの手法は複雑な場合においても低い性能と低い一般化をもたらす。
近年,Segment Anything Model (SAM) は視覚的基本モデルとして提案され,強力なセグメンテーションと一般化機能を提供している。
それでもSAMは、SODでは利用できないターゲットオブジェクトの正確なプロンプトを必要とする。
さらにSAMには、マルチスケールおよびマルチレベル情報の利用や、きめ細かい詳細情報の導入が欠如している。
これらの欠点に対処するため,SODのためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
具体的には、まず軽量マルチスケール適応器(LMSA)を導入し、SAMがトレーニング可能なパラメータをほとんど持たずにマルチスケール情報を学習できるようにする。
そこで本研究では,SAMエンコーダのマルチレベル情報を包括的に利用するマルチレベル核融合モジュール(MLFM)を提案する。
最後に、SAMを細かな詳細に組み込むための詳細拡張モジュール(DEM)を提案する。
実験により、複数のSODデータセット上でのモデルの性能と、他のセグメンテーションタスクに対する強力な一般化が示された。
ソースコードはhttps://github.com/BellyBeauty/MDSAMで公開されている。
関連論文リスト
- Adapting Segment Anything Model to Multi-modal Salient Object Detection with Semantic Feature Fusion Guidance [15.435695491233982]
マルチモーダル・サリアン・オブジェクト検出(SOD)のためのSegment Anything Model(SAM)の強力な特徴表現とゼロショット一般化能力を探求し活用するための新しいフレームワークを提案する。
アンダーラインSAMとサブラインマンティックファウンダリナールファウンダリナールグダンクンダリナール(サマン)を併用して開発する。
画像エンコーダでは,マルチモーダルSAMをマルチモーダル情報に適用するためのマルチモーダルアダプタが提案されている。
論文 参考訳（メタデータ） (2024-08-27T13:47:31Z) - Tuning a SAM-Based Model with Multi-Cognitive Visual Adapter to Remote Sensing Instance Segmentation [4.6570959687411975]
Segment Anything Model (SAM) は例外的な一般化能力を示す。
SAMは大規模なリモートセンシング画像の事前トレーニングを欠いているため、インタラクティブな構造は自動マスク予測能力を制限している。
マルチ認知SAMベースインスタンスモデル (MC-SAM SEG) を導入し, リモートセンシング領域にSAMを採用する。
MC-SAM SEG と呼ばれる提案手法は,SAM-Mona エンコーダの微調整と特徴アグリゲータによって高品質な特徴を抽出する。
論文 参考訳（メタデータ） (2024-08-16T07:23:22Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳（メタデータ） (2024-04-24T07:38:14Z) - Moving Object Segmentation: All You Need Is SAM (and Flow) [82.78026782967959]
SAMのセグメンテーション能力と移動物体の発見・グループ化能力を利用する光フローとSAMを組み合わせた2つのモデルについて検討する。
第1のモデルでは、RGBではなく光の流れを入力としてSAMに適応させ、第2のモデルではRGBを入力として、フローをセグメント化プロンプトとして使用する。
これらの驚くほど単純な方法は、追加の修正なしに、シングルオブジェクトとマルチオブジェクトのベンチマークにおいて、以前のアプローチをかなり上回っている。
論文 参考訳（メタデータ） (2024-04-18T17:59:53Z) - Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM [62.85895749882285]
海洋動物(英: Marine Animal、MAS)は、海洋環境に生息する動物を分類する動物である。
高性能MASのための新しい特徴学習フレームワークDual-SAMを提案する。
提案手法は,広く使用されている5つのMASデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-04-07T15:34:40Z) - Task-Aware Low-Rank Adaptation of Segment Anything Model [4.5963832382272125]
Segment Anything Model (SAM) は画像セグメンテーションタスクの強力な基盤モデルであることが証明されている。
本稿では,マルチタスク学習の基礎モデルとしてSAMを機能させるタスク対応低ランク適応(TA-LoRA)手法を提案する。
論文 参考訳（メタデータ） (2024-03-16T17:02:50Z) - WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳（メタデータ） (2024-03-14T10:30:43Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。
また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
論文 参考訳（メタデータ） (2023-12-21T12:26:11Z) - SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment
Anything Model [85.85899655118087]
我々はSAMRSと呼ばれる大規模RSセグメンテーションデータセットを生成するための効率的なパイプラインを開発する。
SAMRSは完全に105,090の画像と1,668,241のインスタンスを持ち、既存の高解像度RSセグメンテーションデータセットを数桁上回っている。
論文 参考訳（メタデータ） (2023-05-03T10:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。