論文の概要: Semantic-CD: Remote Sensing Image Semantic Change Detection towards Open-vocabulary Setting
- arxiv url: http://arxiv.org/abs/2501.06808v1
- Date: Sun, 12 Jan 2025 13:22:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:24:31.672618
- Title: Semantic-CD: Remote Sensing Image Semantic Change Detection towards Open-vocabulary Setting
- Title（参考訳）: セマンティックCD:オープン語彙設定に向けたリモートセンシング画像セマンティックチェンジ検出
- Authors: Yongshuo Zhu, Lu Li, Keyan Chen, Chenyang Liu, Fugen Zhou, Zhenwei Shi,
- Abstract要約: 従来の変化検出手法は、現実的なシナリオにおける意味圏をまたいだ一般化において、しばしば課題に直面している。
本稿では,リモートセンシング画像における意味変化検出に特化して設計されたSemantic-CDという新しい手法を提案する。
CLIPの広範な語彙知識を活用することで,カテゴリ間の一般化能力を高めることができる。
- 参考スコア（独自算出の注目度）: 19.663899648983417
- License:
- Abstract: Remote sensing image semantic change detection is a method used to analyze remote sensing images, aiming to identify areas of change as well as categorize these changes within images of the same location taken at different times. Traditional change detection methods often face challenges in generalizing across semantic categories in practical scenarios. To address this issue, we introduce a novel approach called Semantic-CD, specifically designed for semantic change detection in remote sensing images. This method incorporates the open vocabulary semantics from the vision-language foundation model, CLIP. By utilizing CLIP's extensive vocabulary knowledge, our model enhances its ability to generalize across categories and improves segmentation through fully decoupled multi-task learning, which includes both binary change detection and semantic change detection tasks. Semantic-CD consists of four main components: a bi-temporal CLIP visual encoder for extracting features from bi-temporal images, an open semantic prompter for creating semantic cost volume maps with open vocabulary, a binary change detection decoder for generating binary change detection masks, and a semantic change detection decoder for producing semantic labels. Experimental results on the SECOND dataset demonstrate that Semantic-CD achieves more accurate masks and reduces semantic classification errors, illustrating its effectiveness in applying semantic priors from vision-language foundation models to SCD tasks.
- Abstract（参考訳）: リモートセンシング画像意味変化検出(リモートセンシング画像の意味変化検出)は、リモートセンシング画像を分析し、変化領域を特定し、異なるタイミングで撮影された同じ位置の画像の中でこれらの変化を分類することを目的としている。
従来の変化検出手法は、現実的なシナリオにおける意味圏をまたいだ一般化において、しばしば課題に直面している。
本稿では,リモートセンシング画像における意味変化検出に特化して設計されたSemantic-CDという新しい手法を提案する。
この方法は、視覚言語基盤モデルCLIPのオープン語彙意味論を取り入れている。
CLIPの広範な語彙知識を利用することで、カテゴリ間の一般化能力を高め、バイナリ変更検出と意味変化検出の両方を含む完全に分離されたマルチタスク学習によりセグメンテーションを改善する。
Semantic-CDは、バイテンポラル画像から特徴を抽出するバイテンポラルCLIPビジュアルエンコーダ、オープンボキャブラリでセマンティックコストボリュームマップを作成するオープンセマンティックプロンサ、バイナリチェンジ検出マスクを生成するバイナリチェンジ検出デコーダ、セマンティックラベルを生成するセマンティックチェンジ検出デコーダの4つの主要コンポーネントから構成される。
SECONDデータセットによる実験結果から,セマンティックCDはより正確なマスクを実現し,セマンティックな分類誤りを低減し,視覚言語基礎モデルからSCDタスクへのセマンティックな事前適用の有効性を示した。
関連論文リスト
- Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection [41.80924135539708]
本稿では,セマンティック・アウェア・チェンジ検出ネットワーク,すなわちSA-CDNetを提案する。
人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、変化を区別するために導出される。
また,ランドスケープのセマンティック理解を高めるために,単一時間的セマンティック事前学習戦略を設計する。
論文 参考訳（メタデータ） (2024-12-22T08:27:15Z) - Enhancing Perception of Key Changes in Remote Sensing Image Change Captioning [49.24306593078429]
KCFI(Key Change Features and Instruction-tuned)によるリモートセンシング画像変換キャプションのための新しいフレームワークを提案する。
KCFIは、バイテンポラルリモートセンシング画像特徴を抽出するViTsエンコーダと、重要な変化領域を識別するキー特徴知覚器と、画素レベルの変化検出デコーダとを含む。
提案手法の有効性を検証するため,LEVIR-CCデータセット上のいくつかの最新の変更キャプション手法との比較を行った。
論文 参考訳（メタデータ） (2024-09-19T09:33:33Z) - Semantic-CC: Boosting Remote Sensing Image Change Captioning via Foundational Knowledge and Semantic Guidance [19.663899648983417]
本稿では,基礎知識と意味指導に基づく新しい変更キャプション(CC)手法を提案する。
提案手法を LEVIR-CC および LEVIR-CD データセット上で検証する。
論文 参考訳（メタデータ） (2024-07-19T05:07:41Z) - Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。
既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。
本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T13:00:33Z) - MaskCD: A Remote Sensing Change Detection Network Based on Mask Classification [29.15203530375882]
深層学習を用いたリモートセンシング(RS)画像からの変化(CD)を文献的に広く研究している。
入力画像対から分類マスクを適応的に生成し,変化領域を検出するMaskCDを提案する。
ピクセルワイズ表現を学習可能なマスク提案に復号することで、望まれる変更対象を再構築する。
論文 参考訳（メタデータ） (2024-04-18T11:05:15Z) - Beyond One-to-One: Rethinking the Referring Image Segmentation [117.53010476628029]
イメージセグメンテーションの参照は、自然言語表現によって参照される対象オブジェクトをセグメンテーションすることを目的としている。
2つのデコーダ分岐を含むDMMI(Dual Multi-Modal Interaction)ネットワークを提案する。
テキスト・ツー・イメージ・デコーダでは、テキストの埋め込みを利用して視覚的特徴を検索し、対応するターゲットをローカライズする。
一方、画像からテキストへのデコーダは、視覚的特徴に条件付けられた消去されたエンティティ・フレーズを再構成するために実装される。
論文 参考訳（メタデータ） (2023-08-26T11:39:22Z) - Self-Pair: Synthesizing Changes from Single Source for Object Change
Detection in Remote Sensing Imagery [6.586756080460231]
本研究では,2つの空間的無関係な画像を用いて変化検出器をトレーニングする。
本稿では,画像の残像としての操作が,変化検出の性能に不可欠であることを示す。
本手法は, 単一時間監視に基づく既存手法よりも優れる。
論文 参考訳（メタデータ） (2022-12-20T13:26:42Z) - Joint Spatio-Temporal Modeling for the Semantic Change Detection in
Remote Sensing Images [22.72105435238235]
両時間RSI間の「から」意味遷移を明示的にモデル化するための意味変化(SCanFormer)を提案する。
次に,SCDタスクに忠実な Transformer 時間制約を活用する意味学習手法を導入し,意味変化の学習を指導する。
結果として得られたネットワーク(SCanNet)は、決定的意味変化の検出と、得られた両時間的結果のセマンティック一貫性の両方において、ベースライン法より優れている。
論文 参考訳（メタデータ） (2022-12-10T08:49:19Z) - SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical
Semantic Change [58.87961226278285]
本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。
SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
論文 参考訳（メタデータ） (2020-12-02T23:56:34Z) - A Weakly Supervised Convolutional Network for Change Segmentation and
Classification [91.3755431537592]
W-CDNetは、画像レベルのセマンティックラベルでトレーニングできる、弱い教師付き変更検出ネットワークである。
W-CDNetは、2つの異なるタイプのデータセットでトレーニングすることができる。
論文 参考訳（メタデータ） (2020-11-06T20:20:45Z) - Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。
オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。
提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
論文 参考訳（メタデータ） (2020-07-03T21:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。