論文の概要: More Diverse Means Better: Multimodal Deep Learning Meets Remote Sensing Imagery Classification

• arxiv url: http://arxiv.org/abs/2008.05457v1
• Date: Wed, 12 Aug 2020 17:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:58:48.589163
• Title: More Diverse Means Better: Multimodal Deep Learning Meets Remote Sensing Imagery Classification
• Title（参考訳）: より多様な意味: マルチモーダルディープラーニングはリモートセンシングのイメージ分類を満たしている
• Authors: Danfeng Hong and Lianru Gao and Naoto Yokoya and Jing Yao and Jocelyn Chanussot and Qian Du and Bing Zhang
• Abstract要約: ディープネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法を示します。 特に、深層ネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法と同様に、異なる融合戦略を示す。 我々のフレームワークは画素単位の分類タスクに限らず、畳み込みニューラルネットワーク(CNN)を用いた空間情報モデリングにも適用できる。
• 参考スコア（独自算出の注目度）: 43.35966675372692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classification and identification of the materials lying over or beneath the Earth's surface have long been a fundamental but challenging research topic in geoscience and remote sensing (RS) and have garnered a growing concern owing to the recent advancements of deep learning techniques. Although deep networks have been successfully applied in single-modality-dominated classification tasks, yet their performance inevitably meets the bottleneck in complex scenes that need to be finely classified, due to the limitation of information diversity. In this work, we provide a baseline solution to the aforementioned difficulty by developing a general multimodal deep learning (MDL) framework. In particular, we also investigate a special case of multi-modality learning (MML) -- cross-modality learning (CML) that exists widely in RS image classification applications. By focusing on "what", "where", and "how" to fuse, we show different fusion strategies as well as how to train deep networks and build the network architecture. Specifically, five fusion architectures are introduced and developed, further being unified in our MDL framework. More significantly, our framework is not only limited to pixel-wise classification tasks but also applicable to spatial information modeling with convolutional neural networks (CNNs). To validate the effectiveness and superiority of the MDL framework, extensive experiments related to the settings of MML and CML are conducted on two different multimodal RS datasets. Furthermore, the codes and datasets will be available at https://github.com/danfenghong/IEEE_TGRS_MDL-RS, contributing to the RS community.
• Abstract（参考訳）: 地球表面上または地下にある材料の分類と同定は、地球科学とリモートセンシング(rs)における基礎的かつ挑戦的な研究課題であり、近年のディープラーニング技術の進歩により、懸念が高まっている。 ディープネットワークは単一モダリティ主体の分類タスクでうまく適用されてきたが、その性能は情報多様性の制限のため、複雑なシーンのボトルネックを必然的に満たしている。 本稿では,mdl(general multimodal deep learning)フレームワークの開発により,上記の難易度に対するベースラインソリューションを提案する。 特に,マルチモーダリティ学習 (MML) の特別事例として,RS画像分類応用において広く存在するクロスモーダリティ学習 (CML) について検討する。 フューズする"何"、"どこで"、"どのように"に焦点を当てることで、深層ネットワークをトレーニングし、ネットワークアーキテクチャを構築する方法だけでなく、異なる融合戦略を示します。 具体的には,5つの融合アーキテクチャを導入,開発し,さらにMDLフレームワークに統合する。 さらに,本フレームワークは画素単位の分類タスクに限らず,畳み込みニューラルネットワーク(CNN)を用いた空間情報モデリングにも適用可能である。 MDLフレームワークの有効性と優位性を検証するため、MMLとCMLの設定に関する広範な実験を2つの異なるマルチモーダルRSデータセット上で行った。 さらに、コードとデータセットはhttps://github.com/danfenghong/IEEE_TGRS_MDL-RSで入手できる。

関連論文リスト

• When Graph meets Multimodal: Benchmarking on Multimodal Attributed Graphs Learning [36.6581535146878]
  マルチモーダル属性グラフ(MAG)は、様々な現実世界のシナリオで一般的であり、一般的に2種類の知識を含んでいる。 プレトレーニング言語/視覚モデル(PLM/PVM)とグラフニューラルネットワーク(GNN)の最近の進歩は、MAGの効果的な学習を促進する。 本稿では、MAGのベンチマークデータセットの総合的かつ多種多様なコレクションであるMultimodal Attribute Graph Benchmark(MAGB)を提案する。
  論文  参考訳（メタデータ） (2024-10-11T13:24:57Z)
• AMANet: Advancing SAR Ship Detection with Adaptive Multi-Hierarchical Attention Network [0.5437298646956507]
  適応型多階層型アテンションモジュール (AMAM) を提案する。 まず,隣り合う特徴層からの情報を融合して,より小さなターゲットの検出を強化し,マルチスケールな特徴強調を実現する。 第3に,AMAMをバックボーンネットワークと特徴ピラミッドネットワークに埋め込むことにより,適応型多階層アテンションネットワーク(AMANet)を提案する。
  論文  参考訳（メタデータ） (2024-01-24T03:56:33Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
  本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。 我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。 当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
  論文  参考訳（メタデータ） (2023-01-18T10:00:59Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
  我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。 カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。 これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
  論文  参考訳（メタデータ） (2021-12-01T19:01:26Z)
• Bifurcated backbone strategy for RGB-D salient object detection [168.19708737906618]
  我々は、RGB-Dの高次物体検出に固有のマルチモーダル・マルチレベルの性質を活用して、新しいカスケードリファインメントネットワークを考案する。 アーキテクチャは Bifurcated Backbone Strategy Network (BBS-Net) と呼ばれ、シンプルで効率的でバックボーンに依存しない。
  論文  参考訳（メタデータ） (2020-07-06T13:01:30Z)
• X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data [69.37597254841052]
  我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。 X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。 我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2020-06-24T15:29:41Z)
• Multi-Subspace Neural Network for Image Recognition [33.61205842747625]
  画像分類タスクでは, 特徴抽出は常に大きな問題であり, クラス内変動により抽出器の設計が困難になる。 近年、ディープラーニングはデータから機能を自動的に学習することに多くの注意を払っている。 本研究では,畳み込みニューラルネットワーク(CNN)のキーコンポーネントをサブスペースの概念と組み合わせたマルチサブスペースニューラルネットワーク(MSNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-17T02:55:34Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。