論文の概要: RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for
Remote Sensing Image Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2402.19004v1
- Date: Thu, 29 Feb 2024 09:55:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 15:25:50.512576
- Title: RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for
Remote Sensing Image Semantic Segmentation
- Title(参考訳): RSAM-Seg:リモートセンシング画像セマンティックセグメンテーションのための事前知識統合のためのSAMベースのアプローチ
- Authors: Jie Zhang, Xubing Yang, Rui Jiang, Wei Shao and Li Zhang
- Abstract要約: Segment Anything Model (SAM)は、イメージセグメンテーションタスクのための普遍的な事前トレーニングモデルを提供する。
本稿では,セマンティックを用いたリモートセンシングSAM(RSAM-Seg)を提案する。
SAMのエンコーダ部分のマルチヘッドアテンションブロックにおいて,アダプタスケール(Adapter-Scale)が提案されている。
クラウド検出、フィールド監視、ビル検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
- 参考スコア(独自算出の注目度): 10.37240769959699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of high-resolution remote sensing satellites has provided
great convenience for research work related to remote sensing. Segmentation and
extraction of specific targets are essential tasks when facing the vast and
complex remote sensing images. Recently, the introduction of Segment Anything
Model (SAM) provides a universal pre-training model for image segmentation
tasks. While the direct application of SAM to remote sensing image segmentation
tasks does not yield satisfactory results, we propose RSAM-Seg, which stands
for Remote Sensing SAM with Semantic Segmentation, as a tailored modification
of SAM for the remote sensing field and eliminates the need for manual
intervention to provide prompts. Adapter-Scale, a set of supplementary scaling
modules, are proposed in the multi-head attention blocks of the encoder part of
SAM. Furthermore, Adapter-Feature are inserted between the Vision Transformer
(ViT) blocks. These modules aim to incorporate high-frequency image information
and image embedding features to generate image-informed prompts. Experiments
are conducted on four distinct remote sensing scenarios, encompassing cloud
detection, field monitoring, building detection and road mapping tasks . The
experimental results not only showcase the improvement over the original SAM
and U-Net across cloud, buildings, fields and roads scenarios, but also
highlight the capacity of RSAM-Seg to discern absent areas within the ground
truth of certain datasets, affirming its potential as an auxiliary annotation
method. In addition, the performance in few-shot scenarios is commendable,
underscores its potential in dealing with limited datasets.
- Abstract(参考訳): 高解像度リモートセンシング衛星の開発は、リモートセンシングに関する研究に非常に便利である。
広大かつ複雑なリモートセンシング画像に直面する場合、特定のターゲットのセグメンテーションと抽出が不可欠である。
近年,Segment Anything Model (SAM) の導入により,画像分割作業のための普遍的な事前学習モデルが提供される。
リモートセンシング画像セグメンテーションタスクへのsamの直接適用は、十分な結果をもたらすものではないが、セマンティックセグメンテーションを持つリモートセンシングsamの略であるrsam-segを、リモートセンシングフィールドのためのsamのカスタマイズされた修正として提案し、プロンプトを提供するための手作業による介入を不要にする。
補足的なスケーリングモジュールである adapter-scale が sam のエンコーダ部分のマルチヘッドアテンションブロックで提案されている。
さらに、vision transformer(vit)ブロックの間にアダプタ機能を挿入する。
これらのモジュールは、画像インフォームプロンプトを生成するために、高周波画像情報と画像埋め込み機能を組み込むことを目的としている。
クラウド検出、フィールドモニタリング、ビルディング検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
実験の結果は、クラウド、ビル、フィールド、道路シナリオをまたいだSAMとU-Netの改善を示すだけでなく、RSAM-Segが特定のデータセットの真理の中で欠落した領域を識別する能力を強調し、補助的なアノテーション手法としての可能性を確認した。
さらに、少数のシナリオのパフォーマンスは賞賛され、限られたデータセットを扱う可能性を強調する。
関連論文リスト
- MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳(メタデータ) (2024-04-24T07:38:14Z) - RS-Mamba for Large Remote Sensing Image Dense Prediction [58.12667617617306]
本稿では,大規模なVHRリモートセンシング画像における高密度予測タスクに対するリモートセンシング・マンバ(RSM)を提案する。
RSMは、線形複雑度でリモートセンシング画像のグローバルなコンテキストを捉えるように設計されている。
我々のモデルは、大規模なリモートセンシング画像の変換器ベースモデルよりも効率と精度がよい。
論文 参考訳(メタデータ) (2024-04-03T12:06:01Z) - VRP-SAM: SAM with Visual Reference Prompt [73.05676082695459]
そこで我々は,Segment Anything Model (SAM) を利用した新しいVisual Reference Prompt (VRP) エンコーダを提案する。
本質的には、VRP-SAMは注釈付き参照画像を使用して特定のオブジェクトを理解し、ターゲット画像内の特定のオブジェクトのセグメンテーションを実行することができる。
論文 参考訳(メタデータ) (2024-02-27T17:58:09Z) - Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks [47.646824158039664]
オープンセットオブジェクト検出器として Grounding DINO を用いて,セグメントアプライスモデル(SAM)と組み合わせた Grounded SAM を紹介する。
この統合により任意のテキスト入力に基づいて任意の領域の検出とセグメンテーションが可能になる。
論文 参考訳(メタデータ) (2024-01-25T13:12:09Z) - ClassWise-SAM-Adapter: Parameter Efficient Fine-tuning Adapts Segment
Anything to SAR Domain for Semantic Segmentation [6.229326337093342]
Segment Anything Model (SAM) は意味情報と一般化能力に依存する様々なセグメンテーションシナリオを抽出する。
The ClassWiseSAM-Adapter (CWSAM) is designed to adapt the high-performing SAM for landcover classification on Spaceborne Synthetic Aperture Radar (SAR) images。
CWSAMは、少ないコンピューティングリソースでパフォーマンスを向上する。
論文 参考訳(メタデータ) (2024-01-04T15:54:45Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Adapting Segment Anything Model for Change Detection in HR Remote
Sensing Images [18.371087310792287]
本研究は、高解像度リモートセンシング画像(RSI)の変化検出を改善するために、ビジョンファウンデーションモデル(VFM)の強力な視覚認識機能を活用することを目的とする。
我々は、能率的なSAMの変種であるFastSAMの視覚エンコーダを用いて、RSシーンの視覚表現を抽出する。
SAMの特徴に固有の意味表現を活用するために、両時間RSIにおける意味潜在をモデル化するためのタスク非依存の意味学習ブランチを導入する。
その結果, SAMCDはSOTA法よりも精度が高く, セミに匹敵するサンプル効率の学習能力を示す。
論文 参考訳(メタデータ) (2023-09-04T08:23:31Z) - The Segment Anything Model (SAM) for Remote Sensing Applications: From
Zero to One Shot [6.500451285898152]
本研究は,リモートセンシング画像解析におけるSegment Anything Model(SAM)の適用を推し進めることを目的としている。
SAMは例外的な一般化能力とゼロショット学習で知られている。
空間分解能の低い画像で発生する限界にもかかわらず、SAMはリモートセンシングデータ解析に有望な適応性を示す。
論文 参考訳(メタデータ) (2023-06-29T01:49:33Z) - RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation
based on Visual Foundation Model [29.42043345787285]
本稿では,Segment Anything Model (SAM) のための適切なプロンプトの生成を学習する手法を提案する。
これによりSAMはリモートセンシング画像に対して意味的に識別可能なセグメンテーション結果を生成することができる。
また,SAMコミュニティ内での最近の進歩を図り,その性能をRSPrompterと比較する。
論文 参考訳(メタデータ) (2023-06-28T14:51:34Z) - SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment
Anything Model [85.85899655118087]
我々はSAMRSと呼ばれる大規模RSセグメンテーションデータセットを生成するための効率的なパイプラインを開発する。
SAMRSは完全に105,090の画像と1,668,241のインスタンスを持ち、既存の高解像度RSセグメンテーションデータセットを数桁上回っている。
論文 参考訳(メタデータ) (2023-05-03T10:58:07Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳(メタデータ) (2023-04-18T17:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。