論文の概要: Prompting DirectSAM for Semantic Contour Extraction in Remote Sensing Images

• arxiv url: http://arxiv.org/abs/2410.06194v1
• Date: Tue, 8 Oct 2024 16:55:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:41:07.218899
• Title: Prompting DirectSAM for Semantic Contour Extraction in Remote Sensing Images
• Title（参考訳）: リモートセンシング画像における意味的輪郭抽出のためのプロンプトダイレクトSAM
• Authors: Shiyu Miao, Delong Chen, Fan Liu, Chuanyi Zhang, Yanhui Gu, Shengjie Guo, Jun Zhou,
• Abstract要約: 我々は,自然画像から得られる強いセグメンテーション機能を継承するDirectSAM-RSという,DirectSAMから派生した基盤モデルを提案する。 このデータセットは34k以上の画像-テキスト-コンテンツトレーレットで構成されており、個々のデータセットの少なくとも30倍の大きさである。 我々は、DirectSAM-RSをゼロショットと微調整の両方で評価し、複数のダウンストリームベンチマークで最先端性能を実現することを実証した。
• 参考スコア（独自算出の注目度）: 11.845626002236772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Direct Segment Anything Model (DirectSAM) excels in class-agnostic contour extraction. In this paper, we explore its use by applying it to optical remote sensing imagery, where semantic contour extraction-such as identifying buildings, road networks, and coastlines-holds significant practical value. Those applications are currently handled via training specialized small models separately on small datasets in each domain. We introduce a foundation model derived from DirectSAM, termed DirectSAM-RS, which not only inherits the strong segmentation capability acquired from natural images, but also benefits from a large-scale dataset we created for remote sensing semantic contour extraction. This dataset comprises over 34k image-text-contour triplets, making it at least 30 times larger than individual dataset. DirectSAM-RS integrates a prompter module: a text encoder and cross-attention layers attached to the DirectSAM architecture, which allows flexible conditioning on target class labels or referring expressions. We evaluate the DirectSAM-RS in both zero-shot and fine-tuning setting, and demonstrate that it achieves state-of-the-art performance across several downstream benchmarks.
• Abstract（参考訳）: DirectSAM(Direct Segment Anything Model)は、クラスに依存しない輪郭抽出において優れている。 本稿では,建物,道路網,海岸線等の意味的輪郭抽出が重要な実用的価値である光リモートセンシング画像に適用することで,その利用を探求する。 これらのアプリケーションは、現在、各ドメインの小さなデータセットで個別に、特別な小さなモデルをトレーニングすることで処理されている。 我々は、DirectSAM-RSと呼ばれるDirectSAMから派生した基盤モデルを導入し、自然画像から得られる強力なセグメンテーション能力を継承するだけでなく、リモートセマンティックな輪郭抽出のために作成した大規模なデータセットの恩恵を受ける。 このデータセットは34k以上の画像-テキスト-コンテンツトレーレットで構成されており、個々のデータセットの少なくとも30倍の大きさである。 DirectSAM-RSは、DirectSAMアーキテクチャにアタッチされたテキストエンコーダとクロスアテンション層というプロンプトモジュールを統合している。 我々は、DirectSAM-RSをゼロショットと微調整の両方で評価し、複数のダウンストリームベンチマークで最先端性能を実現することを実証した。

関連論文リスト

• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• Tuning a SAM-Based Model with Multi-Cognitive Visual Adapter to Remote Sensing Instance Segmentation [4.6570959687411975]
  Segment Anything Model (SAM) は例外的な一般化能力を示す。 SAMは大規模なリモートセンシング画像の事前トレーニングを欠いているため、インタラクティブな構造は自動マスク予測能力を制限している。 マルチ認知SAMベースインスタンスモデル (MC-SAM SEG) を導入し, リモートセンシング領域にSAMを採用する。 MC-SAM SEG と呼ばれる提案手法は,SAM-Mona エンコーダの微調整と特徴アグリゲータによって高品質な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-08-16T07:23:22Z)
• IRSAM: Advancing Segment Anything Model for Infrared Small Target Detection [55.554484379021524]
  Infrared Small Target Detection (IRSTD) タスクは、自然画像と赤外線画像の間に顕著な領域ギャップがあるため、満足度の高い性能を達成するには不十分である。 IRSTDのためのIRSAMモデルを提案する。これはSAMのエンコーダデコーダアーキテクチャを改善し、赤外線小物体の特徴表現をより良く学習する。
  論文  参考訳（メタデータ） (2024-07-10T10:17:57Z)
• MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
  そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。 本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
  論文  参考訳（メタデータ） (2024-04-24T07:38:14Z)
• RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for Remote Sensing Image Semantic Segmentation [10.37240769959699]
  Segment Anything Model (SAM)は、イメージセグメンテーションタスクのための普遍的な事前トレーニングモデルを提供する。 本稿では,セマンティックを用いたリモートセンシングSAM(RSAM-Seg)を提案する。 SAMのエンコーダ部分のマルチヘッドアテンションブロックにおいて,アダプタスケール(Adapter-Scale)が提案されている。 クラウド検出、フィールド監視、ビル検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
  論文  参考訳（メタデータ） (2024-02-29T09:55:46Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models [14.292149307183967]
  本研究は,少数ショットセマンティックセグメンテーションの自動化を目的とした構造化フレームワークを提案する。 SAMモデルを利用して、意味的に識別可能なセグメンテーションの結果をより効率的に生成する。 提案手法の中心は,従来のガイドマスクを利用してSAMの粗い画素単位のプロンプトを生成する,新しい自動プロンプト学習手法である。
  論文  参考訳（メタデータ） (2023-11-22T07:07:55Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• The Segment Anything Model (SAM) for Remote Sensing Applications: From Zero to One Shot [6.500451285898152]
  本研究は,リモートセンシング画像解析におけるSegment Anything Model(SAM)の適用を推し進めることを目的としている。 SAMは例外的な一般化能力とゼロショット学習で知られている。 空間分解能の低い画像で発生する限界にもかかわらず、SAMはリモートセンシングデータ解析に有望な適応性を示す。
  論文  参考訳（メタデータ） (2023-06-29T01:49:33Z)
• RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model [29.42043345787285]
  本稿では,Segment Anything Model (SAM) のための適切なプロンプトの生成を学習する手法を提案する。 これによりSAMはリモートセンシング画像に対して意味的に識別可能なセグメンテーション結果を生成することができる。 また,SAMコミュニティ内での最近の進歩を図り,その性能をRSPrompterと比較する。
  論文  参考訳（メタデータ） (2023-06-28T14:51:34Z)
• SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment Anything Model [85.85899655118087]
  我々はSAMRSと呼ばれる大規模RSセグメンテーションデータセットを生成するための効率的なパイプラインを開発する。 SAMRSは完全に105,090の画像と1,668,241のインスタンスを持ち、既存の高解像度RSセグメンテーションデータセットを数桁上回っている。
  論文  参考訳（メタデータ） (2023-05-03T10:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。