論文の概要: SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
- arxiv url: http://arxiv.org/abs/2410.01768v2
- Date: Mon, 4 Nov 2024 13:33:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 14:50:13.474859
- Title: SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
- Title（参考訳）: SegEarth-OV:リモートセンシング画像のための訓練不要なオープン語彙セグメンテーションを目指して
- Authors: Kaiyu Li, Ruixun Liu, Xiangyong Cao, Xueru Bai, Feng Zhou, Deyu Meng, Zhi Wang,
- Abstract要約: リモートセンシングコンテキストにセマンティックセグメンテーションを導入しようと試みる。
低解像度の特徴に対するリモートセンシング画像の感度のため、予測マスクには歪んだターゲット形状と不適合境界が示される。
トレーニング不要なスタイルで深部特徴の空間情報を復元する,シンプルで汎用的なアップサンプラーSimFeatUpを提案する。
- 参考スコア（独自算出の注目度）: 43.60509230960488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing image plays an irreplaceable role in fields such as agriculture, water resources, military, and disaster relief. Pixel-level interpretation is a critical aspect of remote sensing image applications; however, a prevalent limitation remains the need for extensive manual annotation. For this, we try to introduce open-vocabulary semantic segmentation (OVSS) into the remote sensing context. However, due to the sensitivity of remote sensing images to low-resolution features, distorted target shapes and ill-fitting boundaries are exhibited in the prediction mask. To tackle this issue, we propose a simple and general upsampler, SimFeatUp, to restore lost spatial information in deep features in a training-free style. Further, based on the observation of the abnormal response of local patch tokens to [CLS] token in CLIP, we propose to execute a straightforward subtraction operation to alleviate the global bias in patch tokens. Extensive experiments are conducted on 17 remote sensing datasets spanning semantic segmentation, building extraction, road detection, and flood detection tasks. Our method achieves an average of 5.8%, 8.2%, 4.0%, and 15.3% improvement over state-of-the-art methods on 4 tasks. All codes are released. \url{https://earth-insights.github.io/SegEarth-OV}
- Abstract（参考訳）: リモートセンシング画像は、農業、水資源、軍事、災害救助などの分野では不可能な役割を担っている。
リモートセンシング画像アプリケーションにとって、ピクセルレベルの解釈は重要な側面である。
そこで我々は,リモートセンシングコンテキストにオープン語彙セマンティックセグメンテーション(OVSS)を導入する。
しかし、低解像度の特徴に対するリモートセンシング画像の感度のため、予測マスクには歪んだターゲット形状と不適合境界が示される。
この問題に対処するため、トレーニング不要なスタイルで、失われた空間情報を深い特徴で復元する、シンプルで汎用的なアップサンプラーSimFeatUpを提案する。
さらに,CLIPの[CLS]トークンに対する局所パッチトークンの異常応答の観測に基づいて,パッチトークンのグローバルバイアスを軽減するための簡単なサブトラクション操作を提案する。
セマンティックセグメンテーション、ビルディング抽出、道路検出、洪水検出タスクにまたがる17のリモートセンシングデータセットについて、大規模な実験を行った。
本手法は4つのタスクにおける最先端手法よりも平均5.8%,8.2%,4.0%,および15.3%向上した。
すべてのコードはリリースされている。
\url{https://earth-insights.github.io/SegEarth-OV}
関連論文リスト
- Unsupervised Few-Shot Continual Learning for Remote Sensing Image Scene Classification [14.758282519523744]
リモートセンシング画像シーン分類における教師なし数ショット連続学習のためのunsupervised flat-wide learning approach (UNISA)
リモートセンシング画像シーンデータセットとハイパースペクトルデータセットを用いた数値解析により,提案手法の利点が確認された。
論文 参考訳（メタデータ） (2024-06-04T03:06:41Z) - Learning Semantic Segmentation with Query Points Supervision on Aerial Images [57.09251327650334]
セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。
提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
論文 参考訳（メタデータ） (2023-09-11T14:32:04Z) - Weakly-supervised ROI extraction method based on contrastive learning
for remote sensing images [4.084927826063192]
弱教師付き学習(WSL)は、入力画像から画素ワイズ予測へのマッピングを、画像ワイズラベルの下で学習することを目的としている。
ラベルの精度のため、WSL法の精度と時間消費は比較的不十分である。
本稿では,契約学習に基づく2段階のROI抽出を提案する。
論文 参考訳（メタデータ） (2023-05-10T04:18:45Z) - Zero-shot Referring Image Segmentation with Global-Local Context
Features [8.77461711080319]
参照画像セグメンテーション(RIS)は、入力画像の領域に接する参照表現を与えられたセグメンテーションマスクを見つけることを目的としている。
本稿では,CLIPから事前学習したクロスモーダル知識を利用した,シンプルで効果的なゼロショット参照画像セグメンテーション法を提案する。
実験では,提案手法は,タスクのゼロショットベースラインや,弱教師付き参照表現セグメンテーションにおいても,かなりのマージンで性能を向上する。
論文 参考訳（メタデータ） (2023-03-31T06:00:50Z) - Towards Effective Image Manipulation Detection with Proposal Contrastive
Learning [61.5469708038966]
本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。
我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。
我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
論文 参考訳（メタデータ） (2022-10-16T13:30:13Z) - Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。
ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。
画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-04T07:35:01Z) - An Empirical Study of Remote Sensing Pretraining [117.90699699469639]
本研究では,空中画像におけるリモートセンシング事前訓練(RSP)の実証的研究を行った。
RSPは、シーン認識タスクで特有のパフォーマンスを提供するのに役立つ。
RSPは、従来のイメージネットがRS画像に事前学習する際のデータ格差を緩和するが、それでもタスクの相違に悩まされる可能性がある。
論文 参考訳（メタデータ） (2022-04-06T13:38:11Z) - Geographical Knowledge-driven Representation Learning for Remote Sensing
Images [18.79154074365997]
リモートセンシング画像のための地理知識駆動表現学習法(GeoKR)を提案する。
各リモートセンシング画像に関連するグローバルな土地被覆製品と地理的位置を地理的知識とみなす。
ネットワーク事前トレーニングをサポートするために,大規模な事前トレーニングデータセットであるLevir-KRを提案する。
論文 参考訳（メタデータ） (2021-07-12T09:23:15Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳（メタデータ） (2021-03-30T18:26:39Z) - Scribble-based Weakly Supervised Deep Learning for Road Surface
Extraction from Remote Sensing Images [7.1577508803778045]
そこで我々は,ScRoadExtractor という,スクリブルに基づく弱制御路面抽出手法を提案する。
スパーススクリブルからラベルなし画素への意味情報を伝達するために,道路ラベルの伝搬アルゴリズムを導入する。
道路ラベル伝搬アルゴリズムから生成された提案マスクを用いて、デュアルブランチエンコーダデコーダネットワークを訓練する。
論文 参考訳（メタデータ） (2020-10-25T12:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。