論文の概要: Transformer-based Multimodal Change Detection with Multitask Consistency
Constraints
- arxiv url: http://arxiv.org/abs/2310.09276v2
- Date: Sat, 21 Oct 2023 12:14:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 06:31:09.958770
- Title: Transformer-based Multimodal Change Detection with Multitask Consistency
Constraints
- Title(参考訳): マルチタスク一貫性制約によるトランスフォーマティブ型マルチモーダル変化検出
- Authors: Biyuan Liu, Huaixin Chen, Kun Li, Michael Ying Yang
- Abstract要約: 現在の変化検出方法は、意味変化検出タスクと高さ変化検出タスクのマルチタスク競合に対処する。
そこで我々は,クロスアテンションにより,多次元入力間の共有表現を学習する効率的なトランスフォーマーネットワークを提案する。
提案手法は,5つの現状変化検出手法と比較して,意味的および高さ変化検出の観点から,一貫したマルチタスク優位性を示す。
- 参考スコア(独自算出の注目度): 11.9143317474141
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Change detection plays a fundamental role in Earth observation for analyzing
temporal iterations over time. However, recent studies have largely neglected
the utilization of multimodal data that presents significant practical and
technical advantages compared to single-modal approaches. This research focuses
on leveraging digital surface model (DSM) data and aerial images captured at
different times for detecting change beyond 2D. We observe that the current
change detection methods struggle with the multitask conflicts between semantic
and height change detection tasks. To address this challenge, we propose an
efficient Transformer-based network that learns shared representation between
cross-dimensional inputs through cross-attention. It adopts a consistency
constraint to establish the multimodal relationship, which involves obtaining
pseudo change through height change thresholding and minimizing the difference
between semantic and pseudo change within their overlapping regions. A
DSM-to-image multimodal dataset encompassing three cities in the Netherlands
was constructed. It lays a new foundation for beyond-2D change detection from
cross-dimensional inputs. Compared to five state-of-the-art change detection
methods, our model demonstrates consistent multitask superiority in terms of
semantic and height change detection. Furthermore, the consistency strategy can
be seamlessly adapted to the other methods, yielding promising improvements.
- Abstract(参考訳): 変化検出は、経時的な反復を分析する上で、地球観測において基本的な役割を担っている。
しかし、近年の研究では、単一のモーダルアプローチに比べて実用的、技術的優位性を示すマルチモーダルデータの利用を無視している。
本研究は,デジタルサーフェスモデル(DSM)データと異なるタイミングで捉えた空中画像を利用して,2Dを超える変化を検出することに焦点を当てる。
我々は,現在の変化検出手法が,意味変化検出タスクと高さ変化検出タスクのマルチタスク競合に苦しむことを観察する。
この課題に対処するために,クロスアテンションによる多次元入力間の共有表現を学習する効率的なトランスフォーマーネットワークを提案する。
高さ変化しきい値化による擬似変化の獲得と、重複領域における意味変化と擬似変化の差異の最小化を含むマルチモーダル関係を確立するために、一貫性制約を採用する。
オランダの3都市を含むDSM-to-imageマルチモーダルデータセットが構築された。
クロス次元入力からのbeyond-2d変化検出のための新しい基盤を提供する。
提案手法は,5つの現状変化検出手法と比較して,意味的および高さ変化検出の観点から一貫したマルチタスク優位性を示す。
さらに、一貫性戦略は他の手法にシームレスに適応でき、有望な改善をもたらす。
関連論文リスト
- Time Travelling Pixels: Bitemporal Features Integration with Foundation
Model for Remote Sensing Image Change Detection [28.40070234949818]
Time Travelling Pixels (TTP)は、潜在知識基盤モデルを変更検出に統合する新しいアプローチである。
LEVIR-CDで得られた最先端の成績は,TTPの有効性を裏付けるものであった。
論文 参考訳(メタデータ) (2023-12-23T08:56:52Z) - Exchanging Dual Encoder-Decoder: A New Strategy for Change Detection
with Semantic Guidance and Spatial Localization [10.059696915598392]
セマンティックガイダンスと空間的ローカライゼーションを用いたバイナリ変更検出のための2つのエンコーダ・デコーダ構造を交換した新しい戦略を提案する。
この戦略に基づいてバイナリ変更検出モデルを構築し、それを6つのデータセット上で18の最先端の変更検出手法と比較する。
論文 参考訳(メタデータ) (2023-11-19T11:30:43Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - EMS-Net: Efficient Multi-Temporal Self-Attention For Hyperspectral
Change Detection [32.23764287942984]
我々は,高スペクトル変化検出のための高効率多時間自己アテンションネットワーク(EMS-Net)を提案している。
EMS-Netは、類似した非変更機能マップの冗長性を削減し、正確なバイナリ変更マップのための効率的なマルチテンポラリ変更情報を計算する。
2つのハイパースペクトル変化検出データセットに実装された実験は、提案手法の優れた性能と妥当性を示す。
論文 参考訳(メタデータ) (2023-03-24T02:11:22Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z) - dual unet:a novel siamese network for change detection with cascade
differential fusion [4.651756476458979]
本稿では,変化検出タスク,すなわちDual-UNetのための新しいSiameseニューラルネットワークを提案する。
従来のバイテンポラル画像の符号化とは対照的に,画素の空間的差分関係に着目したエンコーダ差分アテンションモジュールを設計する。
実験により、提案手法は、一般的な季節変化検出データセットにおいて、常に最も高度な手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-12T14:24:09Z) - Weakly Aligned Feature Fusion for Multimodal Object Detection [52.15436349488198]
マルチモーダルデータはしばしば位置ずれの問題に悩まされます。つまり、イメージペアは厳密に一致していません。
この問題により、マルチモーダルな特徴を融合させることが難しくなり、畳み込みニューラルネットワーク(CNN)のトレーニングが難解になる。
本稿では、位置ずれ問題に対処するために、アライメント領域CNN(AR-CNN)と呼ばれる汎用マルチモーダル検出器を提案する。
論文 参考訳(メタデータ) (2022-04-21T02:35:23Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳(メタデータ) (2021-12-04T05:47:54Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。
この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。
本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
論文 参考訳(メタデータ) (2020-10-12T13:26:30Z) - DASNet: Dual attentive fully convolutional siamese networks for change
detection of high resolution satellite images [17.839181739760676]
研究の目的は、関心の変化情報を識別し、無関係な変更情報を干渉要因としてフィルタリングすることである。
近年、ディープラーニングの台頭により、変化検出のための新しいツールが提供され、目覚ましい結果が得られた。
我々は,高解像度画像における変化検出のための新しい手法,すなわち,二重注意型完全畳み込みシームズネットワーク(DASNet)を提案する。
論文 参考訳(メタデータ) (2020-03-07T16:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。