論文の概要: RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for
Remote Sensing Image Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2402.19004v1
- Date: Thu, 29 Feb 2024 09:55:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 15:25:50.512576
- Title: RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for
Remote Sensing Image Semantic Segmentation
- Title（参考訳）: RSAM-Seg:リモートセンシング画像セマンティックセグメンテーションのための事前知識統合のためのSAMベースのアプローチ
- Authors: Jie Zhang, Xubing Yang, Rui Jiang, Wei Shao and Li Zhang
- Abstract要約: Segment Anything Model (SAM)は、イメージセグメンテーションタスクのための普遍的な事前トレーニングモデルを提供する。
本稿では,セマンティックを用いたリモートセンシングSAM(RSAM-Seg)を提案する。
SAMのエンコーダ部分のマルチヘッドアテンションブロックにおいて,アダプタスケール(Adapter-Scale)が提案されている。
クラウド検出、フィールド監視、ビル検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
- 参考スコア（独自算出の注目度）: 10.37240769959699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of high-resolution remote sensing satellites has provided
great convenience for research work related to remote sensing. Segmentation and
extraction of specific targets are essential tasks when facing the vast and
complex remote sensing images. Recently, the introduction of Segment Anything
Model (SAM) provides a universal pre-training model for image segmentation
tasks. While the direct application of SAM to remote sensing image segmentation
tasks does not yield satisfactory results, we propose RSAM-Seg, which stands
for Remote Sensing SAM with Semantic Segmentation, as a tailored modification
of SAM for the remote sensing field and eliminates the need for manual
intervention to provide prompts. Adapter-Scale, a set of supplementary scaling
modules, are proposed in the multi-head attention blocks of the encoder part of
SAM. Furthermore, Adapter-Feature are inserted between the Vision Transformer
(ViT) blocks. These modules aim to incorporate high-frequency image information
and image embedding features to generate image-informed prompts. Experiments
are conducted on four distinct remote sensing scenarios, encompassing cloud
detection, field monitoring, building detection and road mapping tasks . The
experimental results not only showcase the improvement over the original SAM
and U-Net across cloud, buildings, fields and roads scenarios, but also
highlight the capacity of RSAM-Seg to discern absent areas within the ground
truth of certain datasets, affirming its potential as an auxiliary annotation
method. In addition, the performance in few-shot scenarios is commendable,
underscores its potential in dealing with limited datasets.
- Abstract（参考訳）: 高解像度リモートセンシング衛星の開発は、リモートセンシングに関する研究に非常に便利である。
広大かつ複雑なリモートセンシング画像に直面する場合、特定のターゲットのセグメンテーションと抽出が不可欠である。
近年,Segment Anything Model (SAM) の導入により,画像分割作業のための普遍的な事前学習モデルが提供される。
リモートセンシング画像セグメンテーションタスクへのsamの直接適用は、十分な結果をもたらすものではないが、セマンティックセグメンテーションを持つリモートセンシングsamの略であるrsam-segを、リモートセンシングフィールドのためのsamのカスタマイズされた修正として提案し、プロンプトを提供するための手作業による介入を不要にする。
補足的なスケーリングモジュールである adapter-scale が sam のエンコーダ部分のマルチヘッドアテンションブロックで提案されている。
さらに、vision transformer(vit)ブロックの間にアダプタ機能を挿入する。
これらのモジュールは、画像インフォームプロンプトを生成するために、高周波画像情報と画像埋め込み機能を組み込むことを目的としている。
クラウド検出、フィールドモニタリング、ビルディング検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
実験の結果は、クラウド、ビル、フィールド、道路シナリオをまたいだSAMとU-Netの改善を示すだけでなく、RSAM-Segが特定のデータセットの真理の中で欠落した領域を識別する能力を強調し、補助的なアノテーション手法としての可能性を確認した。
さらに、少数のシナリオのパフォーマンスは賞賛され、限られたデータセットを扱う可能性を強調する。
関連論文リスト
- Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳（メタデータ） (2024-09-23T19:05:50Z) - Tuning a SAM-Based Model with Multi-Cognitive Visual Adapter to Remote Sensing Instance Segmentation [4.6570959687411975]
Segment Anything Model (SAM) は例外的な一般化能力を示す。
SAMは大規模なリモートセンシング画像の事前トレーニングを欠いているため、インタラクティブな構造は自動マスク予測能力を制限している。
マルチ認知SAMベースインスタンスモデル (MC-SAM SEG) を導入し, リモートセンシング領域にSAMを採用する。
MC-SAM SEG と呼ばれる提案手法は,SAM-Mona エンコーダの微調整と特徴アグリゲータによって高品質な特徴を抽出する。
論文 参考訳（メタデータ） (2024-08-16T07:23:22Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳（メタデータ） (2024-08-08T09:09:37Z) - IRSAM: Advancing Segment Anything Model for Infrared Small Target Detection [55.554484379021524]
Infrared Small Target Detection (IRSTD) タスクは、自然画像と赤外線画像の間に顕著な領域ギャップがあるため、満足度の高い性能を達成するには不十分である。
IRSTDのためのIRSAMモデルを提案する。これはSAMのエンコーダデコーダアーキテクチャを改善し、赤外線小物体の特徴表現をより良く学習する。
論文 参考訳（メタデータ） (2024-07-10T10:17:57Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Adapting Segment Anything Model for Change Detection in HR Remote
Sensing Images [18.371087310792287]
本研究は、高解像度リモートセンシング画像(RSI)の変化検出を改善するために、ビジョンファウンデーションモデル(VFM)の強力な視覚認識機能を活用することを目的とする。
我々は、能率的なSAMの変種であるFastSAMの視覚エンコーダを用いて、RSシーンの視覚表現を抽出する。
SAMの特徴に固有の意味表現を活用するために、両時間RSIにおける意味潜在をモデル化するためのタスク非依存の意味学習ブランチを導入する。
その結果, SAMCDはSOTA法よりも精度が高く, セミに匹敵するサンプル効率の学習能力を示す。
論文 参考訳（メタデータ） (2023-09-04T08:23:31Z) - RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。
提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。
我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文 参考訳（メタデータ） (2023-07-03T13:21:58Z) - The Segment Anything Model (SAM) for Remote Sensing Applications: From
Zero to One Shot [6.500451285898152]
本研究は,リモートセンシング画像解析におけるSegment Anything Model(SAM)の適用を推し進めることを目的としている。
SAMは例外的な一般化能力とゼロショット学習で知られている。
空間分解能の低い画像で発生する限界にもかかわらず、SAMはリモートセンシングデータ解析に有望な適応性を示す。
論文 参考訳（メタデータ） (2023-06-29T01:49:33Z) - RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation
based on Visual Foundation Model [29.42043345787285]
本稿では,Segment Anything Model (SAM) のための適切なプロンプトの生成を学習する手法を提案する。
これによりSAMはリモートセンシング画像に対して意味的に識別可能なセグメンテーション結果を生成することができる。
また,SAMコミュニティ内での最近の進歩を図り,その性能をRSPrompterと比較する。
論文 参考訳（メタデータ） (2023-06-28T14:51:34Z) - SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment
Anything Model [85.85899655118087]
我々はSAMRSと呼ばれる大規模RSセグメンテーションデータセットを生成するための効率的なパイプラインを開発する。
SAMRSは完全に105,090の画像と1,668,241のインスタンスを持ち、既存の高解像度RSセグメンテーションデータセットを数桁上回っている。
論文 参考訳（メタデータ） (2023-05-03T10:58:07Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2023-04-18T17:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。