論文の概要: MapFormer: Boosting Change Detection by Using Pre-change Information
- arxiv url: http://arxiv.org/abs/2303.17859v3
- Date: Mon, 4 Sep 2023 13:20:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 05:54:38.680470
- Title: MapFormer: Boosting Change Detection by Using Pre-change Information
- Title（参考訳）: MapFormer: 事前変更情報による変更検出の強化
- Authors: Maximilian Bernhard, Niklas Strau{\ss}, Matthias Schubert
- Abstract要約: 地表面の特徴を記述した既存の地図を両時間画像の変化検出に活用する。
潜在表現の連結による付加情報の簡易な統合は、最先端の変更検出方法よりもはるかに優れていることを示す。
提案手法は,DynamicEarthNet と HRSCD のバイナリ変更 IoU において,絶対 11.7% と 18.4% で既存の変更検出手法より優れている。
- 参考スコア（独自算出の注目度）: 2.436285270638041
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Change detection in remote sensing imagery is essential for a variety of
applications such as urban planning, disaster management, and climate research.
However, existing methods for identifying semantically changed areas overlook
the availability of semantic information in the form of existing maps
describing features of the earth's surface. In this paper, we leverage this
information for change detection in bi-temporal images. We show that the simple
integration of the additional information via concatenation of latent
representations suffices to significantly outperform state-of-the-art change
detection methods. Motivated by this observation, we propose the new task of
*Conditional Change Detection*, where pre-change semantic information is used
as input next to bi-temporal images. To fully exploit the extra information, we
propose *MapFormer*, a novel architecture based on a multi-modal feature fusion
module that allows for feature processing conditioned on the available semantic
information. We further employ a supervised, cross-modal contrastive loss to
guide the learning of visual representations. Our approach outperforms existing
change detection methods by an absolute 11.7\% and 18.4\% in terms of binary
change IoU on DynamicEarthNet and HRSCD, respectively. Furthermore, we
demonstrate the robustness of our approach to the quality of the pre-change
semantic information and the absence pre-change imagery. The code is available
at https://github.com/mxbh/mapformer.
- Abstract（参考訳）: リモートセンシング画像における変化検出は、都市計画、災害管理、気候研究などの様々な応用に不可欠である。
しかし、意味的に変化した領域を識別する既存の方法は、地球表面の特徴を記述した既存の地図の形で意味情報の可用性を見落としている。
本稿では,この情報を両時間画像の変化検出に活用する。
潜在表現の連結による付加情報の統合は、最先端の変更検出方法よりも大幅に優れていることを示す。
この観察に動機づけられて,前変化意味情報をバイタイム画像の隣の入力として使用する,条件変化検出*という新しいタスクを提案する。
余分な情報をフル活用するために、利用可能なセマンティック情報に基づいて特徴処理を可能にするマルチモーダル機能融合モジュールに基づく新しいアーキテクチャである*MapFormer*を提案する。
さらに、視覚表現の学習を導くために、教師付き横断的コントラスト損失を用いる。
提案手法は,DynamicEarthNet と HRSCD のバイナリ変更 IoU において,絶対 11.7 % と 18.4 % で既存の変化検出手法より優れている。
さらに,事前変更のセマンティック情報の品質に対するアプローチの頑健さと,事前変更画像の欠如を実証した。
コードはhttps://github.com/mxbh/mapformerで入手できる。
関連論文リスト
- Show Me What and Where has Changed? Question Answering and Grounding for Remote Sensing Change Detection [82.65760006883248]
我々は,CDQAG (Change Detection Question Answering and Grounding) という新しいタスクを導入する。
CDQAGは、解釈可能なテキスト回答と直感的な視覚的証拠を提供することで、従来の変更検出タスクを拡張している。
QAG-360Kと呼ばれる最初のCDQAGベンチマークデータセットを構築し、360K以上の質問、テキスト回答、およびそれに対応する高品質な視覚マスクを含む。
論文 参考訳（メタデータ） (2024-10-31T11:20:13Z) - A Late-Stage Bitemporal Feature Fusion Network for Semantic Change Detection [32.112311027857636]
そこで本研究では,意味変化検出の課題に対処するため,新しい2段階の時間的特徴融合ネットワークを提案する。
具体的には,特徴融合を強化するため,局所的グローバルアテンショナルアグリゲーションモジュールを提案し,重要なセマンティクスを強調するために,局所的グローバルなコンテキスト拡張モジュールを提案する。
提案モデルにより,両データセットの最先端性能が向上する。
論文 参考訳（メタデータ） (2024-06-15T16:02:10Z) - DAMSDet: Dynamic Adaptive Multispectral Detection Transformer with
Competitive Query Selection and Adaptive Feature Fusion [82.2425759608975]
赤外可視物体検出は、赤外画像と可視画像の相補的情報を融合することにより、フルデイ物体検出の堅牢化を目指している。
本稿では,この2つの課題に対処する動的適応型マルチスペクトル検出変換器(DAMSDet)を提案する。
4つの公開データセットの実験は、他の最先端の手法と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-01T07:03:27Z) - MS-Former: Memory-Supported Transformer for Weakly Supervised Change
Detection with Patch-Level Annotations [50.79913333804232]
弱い教師付き変化検出のためのメモリ支援トランス (MS-Former) を提案する。
MS-Former は双方向注意ブロック (BAB) とパッチレベルの監視スキーム (PSS) から構成される。
3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-11-16T09:57:29Z) - VcT: Visual change Transformer for Remote Sensing Image Change Detection [16.778418602705287]
本稿では,視覚変化検出問題に対する新しい視覚変化変換器(VcT)モデルを提案する。
トップKの信頼できるトークンは、クラスタリングアルゴリズムを使用してマップからマイニングし、洗練することができる。
複数のベンチマークデータセットに対する大規模な実験により,提案したVcTモデルの有効性が検証された。
論文 参考訳（メタデータ） (2023-10-17T17:25:31Z) - SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form
Layout-to-Image Generation [68.42476385214785]
本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。
SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。
また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
論文 参考訳（メタデータ） (2023-08-20T04:09:12Z) - Precise Facial Landmark Detection by Reference Heatmap Transformer [52.417964103227696]
より正確に顔のランドマークを検出するための参照ヒートマップ変換器(RHT)を提案する。
評価実験の結果,提案手法は文献における最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-03-14T12:26:48Z) - Self-Pair: Synthesizing Changes from Single Source for Object Change
Detection in Remote Sensing Imagery [6.586756080460231]
本研究では,2つの空間的無関係な画像を用いて変化検出器をトレーニングする。
本稿では,画像の残像としての操作が,変化検出の性能に不可欠であることを示す。
本手法は, 単一時間監視に基づく既存手法よりも優れる。
論文 参考訳（メタデータ） (2022-12-20T13:26:42Z) - Situational Perception Guided Image Matting [16.1897179939677]
本研究では,マットアノテーションの主観バイアスを緩和する状況認識ガイド画像マッチング(SPG-IM)手法を提案する。
SPG-IMは、オブジェクト間およびオブジェクト間サリエンシをよりよく関連付けることができ、画像マッチングの主観的性質を補うことができる。
論文 参考訳（メタデータ） (2022-04-20T07:35:51Z) - Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。
人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。
実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-05-15T23:57:36Z) - Semantic Change Pattern Analysis [31.829389559219276]
本研究では,航空画像に対する意味変化パターン解析という新しい課題を提案する。
共同登録された空中画像のペアが与えられた場合、そのタスクは、場所と変更点の両方を含む結果を必要とする。
本研究は,この課題のための航空画像データセットとして初めて得られたものである。
論文 参考訳（メタデータ） (2020-03-07T02:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。