論文の概要: Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection
- arxiv url: http://arxiv.org/abs/2412.16918v1
- Date: Sun, 22 Dec 2024 08:27:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:58:23.589988
- Title: Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection
- Title（参考訳）: 人間のような変化を検知する: 変化検出を改善するためにセマンティックな優先順位を組み込む
- Authors: Yuhang Gan, Wenjie Xuan, Zhiming Luo, Lei Fang, Zengmao Wang, Juhua Liu, Bo Du,
- Abstract要約: 本稿では,セマンティック・アウェア・チェンジ検出ネットワーク,すなわちSA-CDNetを提案する。
人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、変化を区別するために導出される。
また,ランドスケープのセマンティック理解を高めるために,単一時間的セマンティック事前学習戦略を設計する。
- 参考スコア（独自算出の注目度）: 41.80924135539708
- License:
- Abstract: When given two similar images, humans identify their differences by comparing the appearance ({\it e.g., color, texture}) with the help of semantics ({\it e.g., objects, relations}). However, mainstream change detection models adopt a supervised training paradigm, where the annotated binary change map is the main constraint. Thus, these methods primarily emphasize the difference-aware features between bi-temporal images and neglect the semantic understanding of the changed landscapes, which undermines the accuracy in the presence of noise and illumination variations. To this end, this paper explores incorporating semantic priors to improve the ability to detect changes. Firstly, we propose a Semantic-Aware Change Detection network, namely SA-CDNet, which transfers the common knowledge of the visual foundation models ({\it i.e., FastSAM}) to change detection. Inspired by the human visual paradigm, a novel dual-stream feature decoder is derived to distinguish changes by combining semantic-aware features and difference-aware features. Secondly, we design a single-temporal semantic pre-training strategy to enhance the semantic understanding of landscapes, which brings further increments. Specifically, we construct pseudo-change detection data from public single-temporal remote sensing segmentation datasets for large-scale pre-training, where an extra branch is also introduced for the proxy semantic segmentation task. Experimental results on five challenging benchmarks demonstrate the superiority of our method over the existing state-of-the-art methods. The code is available at \href{https://github.com/thislzm/SA-CD}{SA-CD}.
- Abstract（参考訳）: 類似した2つの画像が与えられた場合、人間は外観(色、テクスチャ)と意味学(物体、関係)の助けを借りて、その相違を識別する。
しかし、主流の変更検出モデルは、注釈付きバイナリ変更マップが主な制約となる、教師付きトレーニングパラダイムを採用している。
したがって、これらの手法は、両時間画像間の差分認識の特徴を強調し、変化した風景の意味的理解を無視し、ノイズや照明の変化の精度を損なう。
そこで本稿では,変化を検出する能力を向上させるために,セマンティックな事前情報の導入について検討する。
まず,SA-CDNetと呼ばれるセマンティック・アウェア・チェンジ検出ネットワークを提案する。
人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、意味認識特徴と差認識特徴を組み合わせることで変化を区別するために導出される。
第2に,景観のセマンティック理解を高めるために,単一時間的セマンティック事前学習戦略を設計し,さらなる増加をもたらす。
具体的には、大規模事前学習のためのパブリックな単一時間リモートセンシングセグメンテーションデータセットから擬似変化検出データを構築し、プロキシセグメンテーションタスクには追加のブランチも導入する。
5つの挑戦的ベンチマークによる実験結果から,既存の最先端手法よりも提案手法が優れていることが示された。
コードは \href{https://github.com/thislzm/SA-CD}{SA-CD} で公開されている。
関連論文リスト
- Enhancing Perception of Key Changes in Remote Sensing Image Change Captioning [49.24306593078429]
KCFI(Key Change Features and Instruction-tuned)によるリモートセンシング画像変換キャプションのための新しいフレームワークを提案する。
KCFIは、バイテンポラルリモートセンシング画像特徴を抽出するViTsエンコーダと、重要な変化領域を識別するキー特徴知覚器と、画素レベルの変化検出デコーダとを含む。
提案手法の有効性を検証するため,LEVIR-CCデータセット上のいくつかの最新の変更キャプション手法との比較を行った。
論文 参考訳（メタデータ） (2024-09-19T09:33:33Z) - Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。
既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。
本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T13:00:33Z) - MS-Former: Memory-Supported Transformer for Weakly Supervised Change
Detection with Patch-Level Annotations [50.79913333804232]
弱い教師付き変化検出のためのメモリ支援トランス (MS-Former) を提案する。
MS-Former は双方向注意ブロック (BAB) とパッチレベルの監視スキーム (PSS) から構成される。
3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-11-16T09:57:29Z) - Align, Perturb and Decouple: Toward Better Leverage of Difference
Information for RSI Change Detection [24.249552791014644]
変化検出は、リモートセンシング画像(RSI)解析において広く採用されている手法である。
そこで我々は,アライメント,摂動,デカップリングといった差分情報を完全に活用するための一連の操作を提案する。
論文 参考訳（メタデータ） (2023-05-30T03:39:53Z) - MapFormer: Boosting Change Detection by Using Pre-change Information [2.436285270638041]
地表面の特徴を記述した既存の地図を両時間画像の変化検出に活用する。
潜在表現の連結による付加情報の簡易な統合は、最先端の変更検出方法よりもはるかに優れていることを示す。
提案手法は,DynamicEarthNet と HRSCD のバイナリ変更 IoU において,絶対 11.7% と 18.4% で既存の変更検出手法より優れている。
論文 参考訳（メタデータ） (2023-03-31T07:39:12Z) - Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot
Learning [74.48337375174297]
一般化ゼロショット学習(GZSL)は、目に見えない領域から移行した知識によって、見えないカテゴリを特定する。
プロトタイプと視覚特徴の対応性を段階的にモデル化するために,デュアルセマンティック・ビジュアル・トランスフォーマーモジュール(DSVTM)をデプロイする。
DSVTMは、インスタンス中心のプロトタイプを学習して異なる画像に適応させる、インスタンス駆動セマンティックエンコーダを考案した。
論文 参考訳（メタデータ） (2023-03-27T15:21:43Z) - Self-Pair: Synthesizing Changes from Single Source for Object Change
Detection in Remote Sensing Imagery [6.586756080460231]
本研究では,2つの空間的無関係な画像を用いて変化検出器をトレーニングする。
本稿では,画像の残像としての操作が,変化検出の性能に不可欠であることを示す。
本手法は, 単一時間監視に基づく既存手法よりも優れる。
論文 参考訳（メタデータ） (2022-12-20T13:26:42Z) - Joint Spatio-Temporal Modeling for the Semantic Change Detection in
Remote Sensing Images [22.72105435238235]
両時間RSI間の「から」意味遷移を明示的にモデル化するための意味変化(SCanFormer)を提案する。
次に,SCDタスクに忠実な Transformer 時間制約を活用する意味学習手法を導入し,意味変化の学習を指導する。
結果として得られたネットワーク(SCanNet)は、決定的意味変化の検出と、得られた両時間的結果のセマンティック一貫性の両方において、ベースライン法より優れている。
論文 参考訳（メタデータ） (2022-12-10T08:49:19Z) - dual unet:a novel siamese network for change detection with cascade
differential fusion [4.651756476458979]
本稿では,変化検出タスク,すなわちDual-UNetのための新しいSiameseニューラルネットワークを提案する。
従来のバイテンポラル画像の符号化とは対照的に,画素の空間的差分関係に着目したエンコーダ差分アテンションモジュールを設計する。
実験により、提案手法は、一般的な季節変化検出データセットにおいて、常に最も高度な手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-08-12T14:24:09Z) - Unsupervised Pretraining for Object Detection by Patch Reidentification [72.75287435882798]
教師なし表現学習は、オブジェクトディテクタの事前トレーニング表現で有望なパフォーマンスを実現します。
本研究では,オブジェクト検出のための簡易かつ効果的な表現学習手法であるパッチ再識別(Re-ID)を提案する。
私たちの方法は、トレーニングの反復やデータパーセンテージなど、すべての設定でCOCOの同等を大幅に上回ります。
論文 参考訳（メタデータ） (2021-03-08T15:13:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。