論文の概要: Multi-modal land cover mapping of remote sensing images using pyramid
attention and gated fusion networks
- arxiv url: http://arxiv.org/abs/2111.03845v1
- Date: Sat, 6 Nov 2021 10:01:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 16:39:54.069070
- Title: Multi-modal land cover mapping of remote sensing images using pyramid
attention and gated fusion networks
- Title(参考訳): ピラミッドアテンションとゲート融合ネットワークを用いたリモートセンシング画像のマルチモーダル土地被覆マッピング
- Authors: Qinghui Liu, Michael Kampffmeyer, Robert Jenssen and Arnt-B{\o}rre
Salberg
- Abstract要約: 本稿では、新しいピラミッド注意融合(PAF)モジュールとゲート融合ユニット(GFU)に基づくマルチモーダルリモートセンシングデータの土地被覆マッピングのための新しいマルチモーダルネットワークを提案する。
PAFモジュールは、内蔵のクロスレベルおよびクロスビューアテンション融合機構により、各モードからより微細なコンテキスト表現を効率的に得るように設計されている。
GFUモジュールは、新機能の早期マージに新しいゲーティング機構を使用し、隠れた冗長性とノイズを減少させる。
- 参考スコア(独自算出の注目度): 20.66034058363032
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-modality data is becoming readily available in remote sensing (RS) and
can provide complementary information about the Earth's surface. Effective
fusion of multi-modal information is thus important for various applications in
RS, but also very challenging due to large domain differences, noise, and
redundancies. There is a lack of effective and scalable fusion techniques for
bridging multiple modality encoders and fully exploiting complementary
information. To this end, we propose a new multi-modality network (MultiModNet)
for land cover mapping of multi-modal remote sensing data based on a novel
pyramid attention fusion (PAF) module and a gated fusion unit (GFU). The PAF
module is designed to efficiently obtain rich fine-grained contextual
representations from each modality with a built-in cross-level and cross-view
attention fusion mechanism, and the GFU module utilizes a novel gating
mechanism for early merging of features, thereby diminishing hidden
redundancies and noise. This enables supplementary modalities to effectively
extract the most valuable and complementary information for late feature
fusion. Extensive experiments on two representative RS benchmark datasets
demonstrate the effectiveness, robustness, and superiority of the MultiModNet
for multi-modal land cover classification.
- Abstract(参考訳): マルチモダリティデータはリモートセンシング(RS)で容易に利用でき、地球表面に関する補完的な情報を提供することができる。
したがって、マルチモーダル情報の効果的な融合は、RSの様々なアプリケーションにとって重要であるが、大きなドメイン差、ノイズ、冗長性のために非常に難しい。
複数のモダリティエンコーダをブリッジし、補完情報を完全に活用するための効果的でスケーラブルな融合技術がない。
そこで本研究では,新しいピラミッド注意融合(PAF)モジュールとゲート融合ユニット(GFU)に基づくマルチモーダルリモートセンシングデータのランドカバーマッピングのためのマルチモーダルネットワーク(MultiModNet)を提案する。
PAFモジュールは、内蔵のクロスレベルおよびクロスビューアテンション融合機構により、各モードからよりきめ細かいコンテキスト表現を効率的に得るように設計されており、GFUモジュールは、特徴の早期にマージするための新しいゲーティング機構を利用して、隠れた冗長性とノイズを低減している。
これにより、補助的モダリティは、後期特徴融合の最も価値ある補完的情報を効果的に抽出することができる。
2つのrsベンチマークデータセットに関する広範な実験は、マルチモーダル土地被覆分類におけるマルチモデネットの有効性、ロバスト性、優越性を示している。
関連論文リスト
- Multimodal Informative ViT: Information Aggregation and Distribution for
Hyperspectral and LiDAR Classification [25.254816993934746]
Multimodal Informative Vit (MIVit) は革新的な情報集約配信機構を備えたシステムである。
MIVitは、各モードの分離されたおよび融合された特徴の実験的分布における冗長性を減少させる。
以上の結果から,MIVitの双方向凝集分配機構は極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-01-06T09:53:33Z) - SAR-Net: Multi-scale Direction-aware SAR Network via Global Information
Fusion [20.130452649097865]
本稿では,SARオブジェクト検出における方向認識情報のグローバルな融合を目的とした新しいフレームワークであるSAR-Netを提案する。
UCMとDAMは、異なるスケールにわたる機能間の補完関係の確立を促進し、効率的なグローバル情報融合を可能にする。
大規模な実験は、SAR-Netの有効性を示し、航空機や船舶のデータセットに対して最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-28T10:40:11Z) - Incomplete Multimodal Learning for Remote Sensing Data Fusion [12.822457129596824]
遠隔センシングデータ融合タスクにおけるマルチモーダルトランスフォーマーネットワークの成功には,自己注意操作によるマルチモーダル信号の接続機構が鍵となる。
従来のアプローチでは、トレーニングと推論の両方の間、すべてのモダリティへのアクセスを前提としており、下流アプリケーションでモーダル不完全入力を扱う場合、深刻な劣化を引き起こす可能性がある。
提案手法は,リモートセンシングデータ融合の文脈において,不完全なマルチモーダル学習のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T12:16:52Z) - HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。
我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。
当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
論文 参考訳(メタデータ) (2023-01-18T10:00:59Z) - Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。
コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。
提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
論文 参考訳(メタデータ) (2021-12-01T15:53:58Z) - Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。
2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。
6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2021-08-18T14:14:22Z) - Learning Deep Multimodal Feature Representation with Asymmetric
Multi-layer Fusion [63.72912507445662]
本稿では,マルチモーダルな特徴を複数の層に融合する,コンパクトで効果的なフレームワークを提案する。
我々は、エンコーダ内のモダリティ固有のバッチ正規化層を単に維持するだけで、共有シングルネットワーク内でマルチモーダル機能を学習できることを検証する。
次に,マルチモーダルな特徴を段階的に活用できる双方向多層融合方式を提案する。
論文 参考訳(メタデータ) (2021-08-11T03:42:13Z) - Accelerated Multi-Modal MR Imaging with Transformers [92.18406564785329]
MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。
トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。
i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
論文 参考訳(メタデータ) (2021-06-27T15:01:30Z) - MSAF: Multimodal Split Attention Fusion [6.460517449962825]
我々は,すべてのモダリティにまたがるより帰属的な特徴を強調する新しいマルチモーダル融合モジュールを提案する。
提案手法は,各タスクにおける競合的な結果を達成し,アプリケーション固有のネットワークやマルチモーダル融合ベンチマークより優れている。
論文 参考訳(メタデータ) (2020-12-13T22:42:41Z) - Efficient Human Pose Estimation by Learning Deeply Aggregated
Representations [67.24496300046255]
深く集約された表現を学習することで、効率的な人間ポーズ推定ネットワーク(DANet)を提案する。
私たちのネットワークは、より小さなモデルの複雑さで、同等またはより良い精度を達成できます。
論文 参考訳(メタデータ) (2020-12-13T10:58:07Z) - X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for
Classification of Remote Sensing Data [69.37597254841052]
我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。
X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。
我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
論文 参考訳(メタデータ) (2020-06-24T15:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。