論文の概要: MS-Former: Memory-Supported Transformer for Weakly Supervised Change
Detection with Patch-Level Annotations
- arxiv url: http://arxiv.org/abs/2311.09726v1
- Date: Thu, 16 Nov 2023 09:57:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 15:22:20.131931
- Title: MS-Former: Memory-Supported Transformer for Weakly Supervised Change
Detection with Patch-Level Annotations
- Title（参考訳）: MS-Former:Patch-Levelアノテーションによる弱教師付き変更検出のためのメモリ対応トランス
- Authors: Zhenglai Li, Chang Tang, Xinwang Liu, Changdong Li, Xianju Li, Wei
Zhang
- Abstract要約: 弱い教師付き変化検出のためのメモリ支援トランス (MS-Former) を提案する。
MS-Former は双方向注意ブロック (BAB) とパッチレベルの監視スキーム (PSS) から構成される。
3つのベンチマークデータセットの実験結果から,提案手法の有効性が示された。
- 参考スコア（独自算出の注目度）: 50.79913333804232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully supervised change detection methods have achieved significant
advancements in performance, yet they depend severely on acquiring costly
pixel-level labels. Considering that the patch-level annotations also contain
abundant information corresponding to both changed and unchanged objects in
bi-temporal images, an intuitive solution is to segment the changes with
patch-level annotations. How to capture the semantic variations associated with
the changed and unchanged regions from the patch-level annotations to obtain
promising change results is the critical challenge for the weakly supervised
change detection task. In this paper, we propose a memory-supported transformer
(MS-Former), a novel framework consisting of a bi-directional attention block
(BAB) and a patch-level supervision scheme (PSS) tailored for weakly supervised
change detection with patch-level annotations. More specifically, the BAM
captures contexts associated with the changed and unchanged regions from the
temporal difference features to construct informative prototypes stored in the
memory bank. On the other hand, the BAM extracts useful information from the
prototypes as supplementary contexts to enhance the temporal difference
features, thereby better distinguishing changed and unchanged regions. After
that, the PSS guides the network learning valuable knowledge from the
patch-level annotations, thus further elevating the performance. Experimental
results on three benchmark datasets demonstrate the effectiveness of our
proposed method in the change detection task. The demo code for our work will
be publicly available at \url{https://github.com/guanyuezhen/MS-Former}.
- Abstract（参考訳）: 完全な教師付き変更検出手法は性能の大幅な進歩を遂げているが、コストの高いピクセルレベルのラベルの取得に大きく依存している。
パッチレベルのアノテーションは、変更対象と変更対象の両方に対応する豊富な情報をバイテンポラルイメージに含んでいることを考えると、直感的な解決策は、変更をパッチレベルのアノテーションで分割することである。
パッチレベルのアノテーションから変更や変更のあった領域に関する意味的なバリエーションを捉えて、有望な変更結果を得るには、弱い教師付き変更検出タスクにとって重要な課題となる。
本稿では,2方向アテンションブロック(BAB)とパッチレベル監視スキーム(PSS)で構成される新しいフレームワークであるメモリ支援トランスフォーマー(MS-Former)を提案する。
具体的には、BAMは時間差の特徴から変化および変化しない領域に関連するコンテキストをキャプチャし、メモリバンクに格納された情報的プロトタイプを構築する。
一方,BAMは,時間差特性を向上し,変化領域や変化領域を識別しやすくするため,プロトタイプから有用な情報を補足コンテキストとして抽出する。
その後、pssはパッチレベルのアノテーションから貴重な知識を学ぶネットワークをガイドし、パフォーマンスをさらに向上させる。
3つのベンチマークデータセットにおける実験結果から,提案手法の有効性が示唆された。
私たちの作業のデモコードは、 \url{https://github.com/guanyuezhen/MS-Former}で公開されます。
関連論文リスト
- Enhancing Perception of Key Changes in Remote Sensing Image Change Captioning [49.24306593078429]
KCFI(Key Change Features and Instruction-tuned)によるリモートセンシング画像変換キャプションのための新しいフレームワークを提案する。
KCFIは、バイテンポラルリモートセンシング画像特徴を抽出するViTsエンコーダと、重要な変化領域を識別するキー特徴知覚器と、画素レベルの変化検出デコーダとを含む。
提案手法の有効性を検証するため,LEVIR-CCデータセット上のいくつかの最新の変更キャプション手法との比較を行った。
論文 参考訳（メタデータ） (2024-09-19T09:33:33Z) - ChangeBind: A Hybrid Change Encoder for Remote Sensing Change Detection [16.62779899494721]
変化検出(CD)は、異なる時刻スタンプで同じ地理的領域間の意味的変化を検出することを目的とした、リモートセンシング(RS)の基本課題である。
本稿では,バイテンポラルRS画像における意味変化をエンコードする,効果的なSiameseベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-26T17:47:14Z) - Segment Any Change [64.23961453159454]
本稿では、ゼロショット予測と、見えない変更タイプやデータ分布の一般化をサポートする新しいタイプの変更検出モデルを提案する。
AnyChangeは、トレーニング不要適応法、バイテンポラルラテントマッチングを通じてSAM(Se segment Any Model)上に構築されます。
また、AnyChangeのゼロショットオブジェクト中心の変更検出機能を有効にするためのポイントクエリ機構を提案する。
論文 参考訳（メタデータ） (2024-02-02T07:17:39Z) - MapFormer: Boosting Change Detection by Using Pre-change Information [2.436285270638041]
地表面の特徴を記述した既存の地図を両時間画像の変化検出に活用する。
潜在表現の連結による付加情報の簡易な統合は、最先端の変更検出方法よりもはるかに優れていることを示す。
提案手法は,DynamicEarthNet と HRSCD のバイナリ変更 IoU において,絶対 11.7% と 18.4% で既存の変更検出手法より優れている。
論文 参考訳（メタデータ） (2023-03-31T07:39:12Z) - Neighborhood Contrastive Transformer for Change Captioning [80.10836469177185]
本研究では,異なる環境下での様々な変化に対するモデルの知覚能力を向上させるために,近傍のコントラスト変換器を提案する。
提案手法は,変化シナリオの異なる3つの公開データセットに対して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-06T14:39:54Z) - Self-Pair: Synthesizing Changes from Single Source for Object Change
Detection in Remote Sensing Imagery [6.586756080460231]
本研究では,2つの空間的無関係な画像を用いて変化検出器をトレーニングする。
本稿では,画像の残像としての操作が,変化検出の性能に不可欠であることを示す。
本手法は, 単一時間監視に基づく既存手法よりも優れる。
論文 参考訳（メタデータ） (2022-12-20T13:26:42Z) - UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision
Transformer for Face Forgery Detection [52.91782218300844]
そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。
自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
論文 参考訳（メタデータ） (2022-10-23T15:24:47Z) - DeViT: Deformed Vision Transformers in Video Inpainting [59.73019717323264]
Deformed Patch-based Homography (DePtH)を導入して、パッチアライメントによる以前のトランスフォーマーを拡張した。
第2に、パッチワイズ機能マッチングを改善するために、Mask Pruning-based Patch Attention (MPPA)を導入する。
第3に、時空間トークンに対する正確な注意を得るために、時空間重み付け適応器(STA)モジュールを導入する。
論文 参考訳（メタデータ） (2022-09-28T08:57:14Z) - Detection and Description of Change in Visual Streams [20.62923173347949]
本研究では,変化の自然言語記述を生成するために,ラベルのないデータをトレーニングに組み込む新しい手法を提案する。
また、視覚的ストリームの変化時期を推定するフレームワークも開発しています。
学習した表現を変化証拠と認識された変化の一貫性に使用し、それらを正規化グラフカットに基づく変化検出器に組み合わせる。
論文 参考訳（メタデータ） (2020-03-27T20:49:38Z) - DASNet: Dual attentive fully convolutional siamese networks for change
detection of high resolution satellite images [17.839181739760676]
研究の目的は、関心の変化情報を識別し、無関係な変更情報を干渉要因としてフィルタリングすることである。
近年、ディープラーニングの台頭により、変化検出のための新しいツールが提供され、目覚ましい結果が得られた。
我々は,高解像度画像における変化検出のための新しい手法,すなわち,二重注意型完全畳み込みシームズネットワーク(DASNet)を提案する。
論文 参考訳（メタデータ） (2020-03-07T16:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。