論文の概要: Prototype-Based Information Compensation Network for Multi-Source Remote Sensing Data Classification
- arxiv url: http://arxiv.org/abs/2505.04003v1
- Date: Tue, 06 May 2025 22:30:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 19:07:35.928588
- Title: Prototype-Based Information Compensation Network for Multi-Source Remote Sensing Data Classification
- Title(参考訳): マルチソースリモートセンシングデータ分類のためのプロトタイプベース情報補償ネットワーク
- Authors: Feng Gao, Sheng Liu, Chuanzheng Gong, Xiaowei Zhou, Jiayi Wang, Junyu Dong, Qian Du,
- Abstract要約: マルチソースリモートセンシングデータ共同分類は、土地被覆分類の精度と信頼性を提供することを目的としている。
既存の手法では、周波数間マルチソース特徴結合と相補的な情報探索の不整合という2つの課題に直面している。
HSIとSAR/LiDARデータに基づく土地被覆分類のためのプロトタイプベース情報補償ネットワーク(PICNet)を提案する。
- 参考スコア(独自算出の注目度): 56.065032039986725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-source remote sensing data joint classification aims to provide accuracy and reliability of land cover classification by leveraging the complementary information from multiple data sources. Existing methods confront two challenges: inter-frequency multi-source feature coupling and inconsistency of complementary information exploration. To solve these issues, we present a Prototype-based Information Compensation Network (PICNet) for land cover classification based on HSI and SAR/LiDAR data. Specifically, we first design a frequency interaction module to enhance the inter-frequency coupling in multi-source feature extraction. The multi-source features are first decoupled into high- and low-frequency components. Then, these features are recoupled to achieve efficient inter-frequency communication. Afterward, we design a prototype-based information compensation module to model the global multi-source complementary information. Two sets of learnable modality prototypes are introduced to represent the global modality information of multi-source data. Subsequently, cross-modal feature integration and alignment are achieved through cross-attention computation between the modality-specific prototype vectors and the raw feature representations. Extensive experiments on three public datasets demonstrate the significant superiority of our PICNet over state-of-the-art methods. The codes are available at https://github.com/oucailab/PICNet.
- Abstract(参考訳): マルチソースリモートセンシングデータ共同分類は、複数のデータソースからの補完情報を活用することにより、土地被覆分類の精度と信頼性を提供することを目的としている。
既存の手法では、周波数間マルチソース特徴結合と相補的な情報探索の不整合という2つの課題に直面している。
これらの問題を解決するために,HSIとSAR/LiDARデータに基づく土地被覆分類のためのプロトタイプベース情報補償ネットワーク(PICNet)を提案する。
具体的には、マルチソース特徴抽出における周波数間カップリングを強化するために、まず周波数相互作用モジュールを設計する。
マルチソース機能はまず、高周波と低周波のコンポーネントに分離される。
そして、これらの特徴を結合して効率的な周波数間通信を実現する。
その後、グローバルなマルチソース補完情報をモデル化するためのプロトタイプベースの情報補償モジュールを設計する。
マルチソースデータのグローバルなモダリティ情報を表現するために,学習可能なモダリティプロトタイプを2セット導入した。
その後、モダリティ特異的なプロトタイプベクトルと生の特徴表現との間のクロスアテンション計算により、クロスモーダルな特徴統合とアライメントを実現する。
3つの公開データセットに対する大規模な実験は、最先端の手法よりもPICNetの顕著な優位性を示している。
コードはhttps://github.com/oucailab/PICNetで公開されている。
関連論文リスト
- PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。
PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。
PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
論文 参考訳(メタデータ) (2024-08-26T19:43:01Z) - Hierarchical Attention and Parallel Filter Fusion Network for Multi-Source Data Classification [33.26466989592473]
マルチソースデータ分類のための階層的注意と並列フィルタ融合ネットワークを提案する。
提案手法は,各データセットの総合精度(OA)の91.44%と80.51%を達成する。
論文 参考訳(メタデータ) (2024-08-22T23:14:22Z) - Multimodal Informative ViT: Information Aggregation and Distribution for
Hyperspectral and LiDAR Classification [25.254816993934746]
Multimodal Informative Vit (MIVit) は革新的な情報集約配信機構を備えたシステムである。
MIVitは、各モードの分離されたおよび融合された特徴の実験的分布における冗長性を減少させる。
以上の結果から,MIVitの双方向凝集分配機構は極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-01-06T09:53:33Z) - Feature Decoupling-Recycling Network for Fast Interactive Segmentation [79.22497777645806]
近年のインタラクティブセグメンテーション手法では,入力としてソースイメージ,ユーザガイダンス,従来予測されていたマスクを反復的に取り込んでいる。
本稿では,本質的な相違点に基づいてモデリングコンポーネントを分離するFDRN(Feature Decoupling-Recycling Network)を提案する。
論文 参考訳(メタデータ) (2023-08-07T12:26:34Z) - A3CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural
Network for Multisource Remote Sensing Data Classification [24.006660419933727]
本稿では,ハイパースペクトル画像(HSI)と光検出・測光(LiDAR)の2つのデータソースを補完する手法を提案する。
我々は,特徴抽出と分類のための2チャネル空間,スペクトル,マルチスケールの長期記憶ニューラルネットワーク(デュアルチャネルA3CLNN)を開発した。
論文 参考訳(メタデータ) (2022-04-09T12:43:32Z) - Multi-modal land cover mapping of remote sensing images using pyramid
attention and gated fusion networks [20.66034058363032]
本稿では、新しいピラミッド注意融合(PAF)モジュールとゲート融合ユニット(GFU)に基づくマルチモーダルリモートセンシングデータの土地被覆マッピングのための新しいマルチモーダルネットワークを提案する。
PAFモジュールは、内蔵のクロスレベルおよびクロスビューアテンション融合機構により、各モードからより微細なコンテキスト表現を効率的に得るように設計されている。
GFUモジュールは、新機能の早期マージに新しいゲーティング機構を使用し、隠れた冗長性とノイズを減少させる。
論文 参考訳(メタデータ) (2021-11-06T10:01:01Z) - Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。
2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。
6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2021-08-18T14:14:22Z) - X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for
Classification of Remote Sensing Data [69.37597254841052]
我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。
X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。
我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
論文 参考訳(メタデータ) (2020-06-24T15:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。