論文の概要: SegEarth-OV: Towards Traning-Free Open-Vocabulary Segmentation for Remote Sensing Images
- arxiv url: http://arxiv.org/abs/2410.01768v1
- Date: Wed, 02 Oct 2024 17:25:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:22:12.124271
- Title: SegEarth-OV: Towards Traning-Free Open-Vocabulary Segmentation for Remote Sensing Images
- Title(参考訳): SegEarth-OV:リモートセンシング画像のためのトラニングフリーなオープンボキャブラリセグメンテーションを目指して
- Authors: Kaiyu Li, Ruixun Liu, Xiangyong Cao, Deyu Meng, Zhi Wang,
- Abstract要約: リモートセンシングコンテキストにセマンティックセグメンテーションを導入しようと試みる。
低解像度の特徴に対するリモートセンシング画像の感度のため、予測マスクには歪んだターゲット形状と不適合境界が示される。
トレーニング不要なスタイルで深部特徴の空間情報を復元する,シンプルで汎用的なアップサンプラーSimFeatUpを提案する。
- 参考スコア(独自算出の注目度): 44.27249695362646
- License:
- Abstract: Remote sensing image plays an irreplaceable role in fields such as agriculture, water resources, military, and disaster relief. Pixel-level interpretation is a critical aspect of remote sensing image applications; however, a prevalent limitation remains the need for extensive manual annotation. For this, we try to introduce open-vocabulary semantic segmentation (OVSS) into the remote sensing context. However, due to the sensitivity of remote sensing images to low-resolution features, distorted target shapes and ill-fitting boundaries are exhibited in the prediction mask. To tackle this issue, we propose a simple and general upsampler, SimFeatUp, to restore lost spatial information in deep features in a training-free style. Further, based on the observation of the abnormal response of local patch tokens to [CLS] token in CLIP, we propose to execute a straightforward subtraction operation to alleviate the global bias in patch tokens. Extensive experiments are conducted on 17 remote sensing datasets spanning semantic segmentation, building extraction, road detection, and flood detection tasks. Our method achieves an average of 5.8%, 8.2%, 4%, and 15.3% improvement over state-of-the-art methods on 4 tasks. All codes are released. \url{https://earth-insights.github.io/SegEarth-OV}
- Abstract(参考訳): リモートセンシング画像は、農業、水資源、軍事、災害救助などの分野では不可能な役割を担っている。
リモートセンシング画像アプリケーションにとって、ピクセルレベルの解釈は重要な側面である。
そこで我々は,リモートセンシングコンテキストにオープン語彙セマンティックセグメンテーション(OVSS)を導入する。
しかし、低解像度の特徴に対するリモートセンシング画像の感度のため、予測マスクには歪んだターゲット形状と不適合境界が示される。
この問題に対処するため、トレーニング不要なスタイルで、失われた空間情報を深い特徴で復元する、シンプルで汎用的なアップサンプラーSimFeatUpを提案する。
さらに,CLIPの[CLS]トークンに対する局所パッチトークンの異常応答の観測に基づいて,パッチトークンのグローバルバイアスを軽減するための簡単なサブトラクション操作を提案する。
セマンティックセグメンテーション、ビルディング抽出、道路検出、洪水検出タスクにまたがる17のリモートセンシングデータセットについて、大規模な実験を行った。
本手法は,4つのタスクにおける最先端手法よりも平均5.8%,8.2%,4%,15.3%向上した。
すべてのコードはリリースされている。
\url{https://earth-insights.github.io/SegEarth-OV}
関連論文リスト
- Unsupervised Few-Shot Continual Learning for Remote Sensing Image Scene Classification [14.758282519523744]
リモートセンシング画像シーン分類における教師なし数ショット連続学習のためのunsupervised flat-wide learning approach (UNISA)
リモートセンシング画像シーンデータセットとハイパースペクトルデータセットを用いた数値解析により,提案手法の利点が確認された。
論文 参考訳(メタデータ) (2024-06-04T03:06:41Z) - Deep Homography Estimation for Visual Place Recognition [49.235432979736395]
本稿では,変換器を用いたディープホモグラフィー推定(DHE)ネットワークを提案する。
バックボーンネットワークによって抽出された濃密な特徴写像を入力とし、高速で学習可能な幾何的検証のためにホモグラフィーに適合する。
ベンチマークデータセットを用いた実験により,本手法はいくつかの最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-02-25T13:22:17Z) - Zero-shot Referring Image Segmentation with Global-Local Context
Features [8.77461711080319]
参照画像セグメンテーション(RIS)は、入力画像の領域に接する参照表現を与えられたセグメンテーションマスクを見つけることを目的としている。
本稿では,CLIPから事前学習したクロスモーダル知識を利用した,シンプルで効果的なゼロショット参照画像セグメンテーション法を提案する。
実験では,提案手法は,タスクのゼロショットベースラインや,弱教師付き参照表現セグメンテーションにおいても,かなりのマージンで性能を向上する。
論文 参考訳(メタデータ) (2023-03-31T06:00:50Z) - Towards Effective Image Manipulation Detection with Proposal Contrastive
Learning [61.5469708038966]
本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。
我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。
我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
論文 参考訳(メタデータ) (2022-10-16T13:30:13Z) - Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。
ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。
画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-10-04T07:35:01Z) - Geographical Knowledge-driven Representation Learning for Remote Sensing
Images [18.79154074365997]
リモートセンシング画像のための地理知識駆動表現学習法(GeoKR)を提案する。
各リモートセンシング画像に関連するグローバルな土地被覆製品と地理的位置を地理的知識とみなす。
ネットワーク事前トレーニングをサポートするために,大規模な事前トレーニングデータセットであるLevir-KRを提案する。
論文 参考訳(メタデータ) (2021-07-12T09:23:15Z) - Detector-Free Weakly Supervised Grounding by Separation [76.65699170882036]
Wakly Supervised phrase-Grounding (WSG)は、画像中の任意のテキストフレーズをローカライズするためにデータを使用するタスクを扱う。
本稿では,事前学習した検出器を使わずにWSGを解くための検出器フリーWSG(DF-WSG)を提案する。
我々は、以前のdf-wsg sotaと比較して最大8.5%の精度向上を示す。
論文 参考訳(メタデータ) (2021-04-20T08:27:31Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳(メタデータ) (2021-03-30T18:26:39Z) - Scribble-based Weakly Supervised Deep Learning for Road Surface
Extraction from Remote Sensing Images [7.1577508803778045]
そこで我々は,ScRoadExtractor という,スクリブルに基づく弱制御路面抽出手法を提案する。
スパーススクリブルからラベルなし画素への意味情報を伝達するために,道路ラベルの伝搬アルゴリズムを導入する。
道路ラベル伝搬アルゴリズムから生成された提案マスクを用いて、デュアルブランチエンコーダデコーダネットワークを訓練する。
論文 参考訳(メタデータ) (2020-10-25T12:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。