論文の概要: Changes-Aware Transformer: Learning Generalized Changes Representation

• arxiv url: http://arxiv.org/abs/2309.13619v1
• Date: Sun, 24 Sep 2023 12:21:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 18:31:18.105536
• Title: Changes-Aware Transformer: Learning Generalized Changes Representation
• Title（参考訳）: Change-Aware Transformer: 一般化された変化表現の学習
• Authors: Dan Wang, Licheng Jiao, Jie Chen, Shuyuan Yang, Fang Liu
• Abstract要約: 差分特徴の精細化のための新しい変化認識変換器(CAT)を提案する。 様々な変化の一般化表現は、差分特徴空間において容易に学習される。 精細化後、差分特徴空間における変化画素同士が近接し、変化検出を容易にする。
• 参考スコア（独自算出の注目度）: 56.917000244470174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Difference features obtained by comparing the images of two periods play an indispensable role in the change detection (CD) task. However, a pair of bi-temporal images can exhibit diverse changes, which may cause various difference features. Identifying changed pixels with differ difference features to be the same category is thus a challenge for CD. Most nowadays' methods acquire distinctive difference features in implicit ways like enhancing image representation or supervision information. Nevertheless, informative image features only guarantee object semantics are modeled and can not guarantee that changed pixels have similar semantics in the difference feature space and are distinct from those unchanged ones. In this work, the generalized representation of various changes is learned straightforwardly in the difference feature space, and a novel Changes-Aware Transformer (CAT) for refining difference features is proposed. This generalized representation can perceive which pixels are changed and which are unchanged and further guide the update of pixels' difference features. CAT effectively accomplishes this refinement process through the stacked cosine cross-attention layer and self-attention layer. After refinement, the changed pixels in the difference feature space are closer to each other, which facilitates change detection. In addition, CAT is compatible with various backbone networks and existing CD methods. Experiments on remote sensing CD data set and street scene CD data set show that our method achieves state-of-the-art performance and has excellent generalization.
• Abstract（参考訳）: 2つの期間の画像を比較することで得られる特徴は、変化検出(CD)タスクにおいて不可欠である。 しかし、両時間画像は多様な変化を示し、様々な違いを引き起こす可能性がある。 異なる特徴を持つ変化画素を同じカテゴリに識別することはCDにとって困難である。 現代のほとんどの手法は、画像表現の強化や監督情報といった暗黙の方法で異なる特徴を得る。 それでも、情報的特徴はオブジェクトのセマンティクスがモデル化されることのみを保証し、変化したピクセルが特徴空間に類似したセマンティクスを持つことを保証できない。 本研究では, 差分特徴空間において, 様々な変化の一般化表現を直接学習し, 差分特徴を精製するための新しい変化認識変換器(CAT)を提案する。 この一般化された表現は、どのピクセルが変更され、どのピクセルが変更されていないかを認識することができ、さらに画素の差分特徴の更新を導く。 catは、積層コサインクロスアテンション層および自己アテンション層を介して、この精細化プロセスを効果的に達成する。 精細化後、差分特徴空間における変化画素同士が近接し、変化検出を容易にする。 さらに、CATは様々なバックボーンネットワークや既存のCDメソッドと互換性がある。 リモートセンシングcdデータセットとストリートシーンcdデータセットの実験により,本手法が最先端の性能を達成し,一般化に優れたことを示す。

関連論文リスト

• Enhancing Perception of Key Changes in Remote Sensing Image Change Captioning [49.24306593078429]
  KCFI(Key Change Features and Instruction-tuned)によるリモートセンシング画像変換キャプションのための新しいフレームワークを提案する。 KCFIは、バイテンポラルリモートセンシング画像特徴を抽出するViTsエンコーダと、重要な変化領域を識別するキー特徴知覚器と、画素レベルの変化検出デコーダとを含む。 提案手法の有効性を検証するため,LEVIR-CCデータセット上のいくつかの最新の変更キャプション手法との比較を行った。
  論文  参考訳（メタデータ） (2024-09-19T09:33:33Z)
• Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
  変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。 既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。 本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T13:00:33Z)
• Context-aware Difference Distilling for Multi-change Captioning [106.72151597074098]
  マルチチェンジキャプションは、自然言語でイメージペア内の複雑で結合的な変化を記述することを目的としている。 そこで本稿では, 文収量に対する真の変化をすべて捉えるための, 文脈認識型差分蒸留ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T14:07:39Z)
• Pixel-Level Change Detection Pseudo-Label Learning for Remote Sensing Change Captioning [28.3763053922823]
  リモートセンシング画像変化キャプション(RSICC)の手法は、単純なシーンではうまく機能するが、複雑なシーンでは性能が劣る。 画素レベルのCDは言語による画像の違いを説明する上で重要であると我々は信じている。 提案手法は最先端の性能を達成し,学習用画素レベルのCD擬似ラベルがキャプションの変更に大きく貢献することを示す。
  論文  参考訳（メタデータ） (2023-12-23T17:58:48Z)
• Align, Perturb and Decouple: Toward Better Leverage of Difference Information for RSI Change Detection [24.249552791014644]
  変化検出は、リモートセンシング画像(RSI)解析において広く採用されている手法である。 そこで我々は,アライメント,摂動,デカップリングといった差分情報を完全に活用するための一連の操作を提案する。
  論文  参考訳（メタデータ） (2023-05-30T03:39:53Z)
• Learning Transformations To Reduce the Geometric Shift in Object Detection [60.20931827772482]
  画像キャプチャプロセスの変動から生じる幾何シフトに対処する。 我々は、これらのシフトを最小限に抑えるために幾何変換の集合を学習する自己学習アプローチを導入する。 我々は,カメラの視野変化(FoV)と視点変化(視点変化)の2つの異なるシフトについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-01-13T11:55:30Z)
• IDET: Iterative Difference-Enhanced Transformers for High-Quality Change Detection [16.507124958270694]
  変化検出(CD)は、異なるタイミングでキャプチャされた画像ペア内の変化領域を検出することを目的としている。 新しい視点からCD、すなわち特徴差を最適化して変化を強調し、変化しない領域を抑える方法について研究する。 反復差分エンハンス変換器(IDET)と呼ばれる新しいモジュールを提案する。 最終CD法は6つの大規模データセット上で7つの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-07-15T07:40:29Z)
• HIPA: Hierarchical Patch Transformer for Single Image Super Resolution [62.7081074931892]
  本稿では,階層型パッチ分割を用いた高解像度画像を段階的に復元する新しいトランスフォーマーアーキテクチャHIPAを提案する。 入力画像を複数のステージで処理するカスケードモデルを構築し、小さなパッチサイズでトークンから始めて、徐々に全解像度にマージします。 このような階層的なパッチ機構は、複数の解像度で機能集約を可能にするだけでなく、異なる画像領域に対するパッチ認識機能も適応的に学習する。
  論文  参考訳（メタデータ） (2022-03-19T05:09:34Z)
• Two-Phase Object-Based Deep Learning for Multi-temporal SAR Image Change Detection [23.2069257991734]
  変化検出は合成開口レーダ(SAR)画像の基本的な応用の1つである。 SAR画像に現れるスペックルノイズは、変化検出に非常に悪影響を及ぼす。 多時間SAR画像変化検出のための2相オブジェクトベースディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T11:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。