論文の概要: Multi-Modal Deep Learning for Multi-Temporal Urban Mapping With a Partly Missing Optical Modality

• arxiv url: http://arxiv.org/abs/2306.00640v1
• Date: Thu, 1 Jun 2023 13:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 16:14:52.769907
• Title: Multi-Modal Deep Learning for Multi-Temporal Urban Mapping With a Partly Missing Optical Modality
• Title（参考訳）: 光モダリティを欠いたマルチモーダル都市マッピングのためのマルチモーダル深層学習
• Authors: Sebastian Hafner and Yifang Ban
• Abstract要約: 本稿では,Sentinel-1ミッションとSentinel-2ミッションのマルチモーダル衛星データを用いた,新しい都市マッピング手法を提案する。 特に、雲による光学的モダリティの欠如の問題に焦点を当てている。 提案手法は,可能であればマルチモーダルデータを利用するのに有効であるが,光学的モダリティが欠如している場合にも有効性を維持する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel multi-temporal urban mapping approach using multi-modal satellite data from the Sentinel-1 Synthetic Aperture Radar (SAR) and Sentinel-2 MultiSpectral Instrument (MSI) missions. In particular, it focuses on the problem of a partly missing optical modality due to clouds. The proposed model utilizes two networks to extract features from each modality separately. In addition, a reconstruction network is utilized to approximate the optical features based on the SAR data in case of a missing optical modality. Our experiments on a multi-temporal urban mapping dataset with Sentinel-1 SAR and Sentinel-2 MSI data demonstrate that the proposed method outperforms a multi-modal approach that uses zero values as a replacement for missing optical data, as well as a uni-modal SAR-based approach. Therefore, the proposed method is effective in exploiting multi-modal data, if available, but it also retains its effectiveness in case the optical modality is missing.
• Abstract（参考訳）: 本稿では,Sentinel-1 Synthetic Aperture Radar (SAR) とSentinel-2 Multi Spectral Instrument (MSI) のマルチモーダル衛星データを用いた新しい都市マッピング手法を提案する。 特に、雲による部分的に欠けた光学的モダリティの問題に焦点が当てられている。 提案モデルは2つのネットワークを用いて各モダリティから特徴を抽出する。 また、再構成ネットワークを用いて、光学モードが欠落した場合のSARデータに基づいて光学特性を近似する。 Sentinel-1 SARとSentinel-2 MSIデータを用いた多時間都市マッピングデータセットの実験により、提案手法は、欠落した光学データの代わりにゼロ値を用いるマルチモーダル手法、および一様SARに基づく手法よりも優れていることを示した。 したがって,本手法は利用可能であればマルチモーダルデータの活用に有効であるが,光学的モーダル性が欠落しても有効性が保たれる。

関連論文リスト

• Contrastive Learning-Based Spectral Knowledge Distillation for Multi-Modality and Missing Modality Scenarios in Semantic Segmentation [2.491548070992611]
  CSK-Netと呼ばれる新しいマルチモーダル融合手法を提案する。 対照的な学習に基づくスペクトル知識蒸留技術を用いる。 実験の結果、CSK-Netはマルチモーダルタスクや欠落したモダリティにおいて最先端のモデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2023-12-04T10:27:09Z)
• Diffusion Models for Interferometric Satellite Aperture Radar [73.01013149014865]
  確率拡散モデル (Probabilistic Diffusion Models, PDMs) は、最近、非常に有望な生成モデルのクラスとして登場した。 ここでは、PDMを活用して、レーダーベースの衛星画像データセットを複数生成する。 PDMは複雑で現実的な構造を持つ画像を生成することに成功したが、サンプリング時間は依然として問題である。
  論文  参考訳（メタデータ） (2023-08-31T16:26:17Z)
• Investigating Imbalances Between SAR and Optical Utilization for Multi-Modal Urban Mapping [0.0]
  最近の都市マッピング手法では、多モードディープニューラルネットワークを用いて合成開口レーダ(SAR)と光学データを融合している。 本稿では,都市マッピングにおけるSARと光データの利用について検討する。
  論文  参考訳（メタデータ） (2023-04-11T09:22:51Z)
• Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things [82.15959827765325]
  環境支援型生活(AAL)のためのマルチモーダルセンサフュージョンの新しいアプローチを提案する。 我々は、標準マルチモーダルアプローチの2つの大きな欠点、限られた範囲のカバレッジ、信頼性の低下に対処する。 我々の新しいフレームワークは、三重項学習によるモダリティ幻覚の概念を融合させ、異なるモダリティを持つモデルを訓練し、推論時に欠落したセンサーに対処する。
  論文  参考訳（メタデータ） (2022-07-14T10:04:18Z)
• Multi-Modal Temporal Attention Models for Crop Mapping from Satellite Time Series [7.379078963413671]
  複数の作物マッピングタスクにまたがる時間的注意に基づく手法が最近成功し,これらのモデルがどのように複数のモードで操作できるのかを考察する。 我々は,新しいアプローチと訓練手順の簡単な調整を含む,複数の融合方式を実装し,評価する。 ほとんどのフュージョンスキームには利点と欠点があり、特定の設定に関連があることが示される。 次に,パーセル分類,画素ベースセグメンテーション,パン光学パーセルセグメンテーションなど,複数のタスクにまたがるマルチモーダルの利点を評価する。
  論文  参考訳（メタデータ） (2021-12-14T17:05:55Z)
• Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust Road Extraction [110.61383502442598]
  我々は、Cross-Modal Message Propagation Network (CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを紹介する。 CMMPNetは、モダリティ固有の表現学習のための2つのディープオートエンコーダと、クロスモーダル表現洗練のためのテーラー設計のデュアルエンハンスメントモジュールで構成されている。 実世界の3つのベンチマーク実験により, CMMPNetによる堅牢な道路抽出の有効性が示された。
  論文  参考訳（メタデータ） (2021-11-30T04:30:10Z)
• RRNet: Relational Reasoning Network with Parallel Multi-scale Attention for Salient Object Detection in Optical Remote Sensing Images [82.1679766706423]
  光リモートセンシング画像(RSI)のためのSODは、光学RSIから視覚的に特徴的な物体や領域を探索・抽出することを目的としている。 光学RSIにおけるSODに並列なマルチスケールアテンションを持つリレーショナル推論ネットワークを提案する。 提案するRRNetは,既存の最先端SODコンペティタよりも質的,定量的に優れている。
  論文  参考訳（メタデータ） (2021-10-27T07:18:32Z)
• LoRD-Net: Unfolded Deep Detection Network with Low-Resolution Receivers [104.01415343139901]
  本稿では,1ビット計測から情報シンボルを復元する「LoRD-Net」というディープ検出器を提案する。 LoRD-Netは、関心のシグナルを回復するためのタスクベースのアーキテクチャである。 無線通信における1ビット信号回復のためのレシーバアーキテクチャの評価を行った。
  論文  参考訳（メタデータ） (2021-02-05T04:26:05Z)
• Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for Gesture Recognition [89.0152015268929]
  RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。 結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:09Z)
• MSDPN: Monocular Depth Prediction with Partial Laser Observation using Multi-stage Neural Networks [1.1602089225841632]
  深層学習に基づくマルチステージネットワークアーキテクチャであるMulti-Stage Depth Prediction Network (MSDPN)を提案する。 MSDPNは2次元LiDARと単眼カメラを用いて深度マップを予測する。 実験により,本ネットワークは最先端手法に対して有望な性能を示す。
  論文  参考訳（メタデータ） (2020-08-04T08:27:40Z)
• A Convolutional Neural Network with Parallel Multi-Scale Spatial Pooling to Detect Temporal Changes in SAR Images [43.56177583903999]
  合成開口レーダ(SAR)画像変化検出では,ノイズ差画像から変化する情報を活用することは極めて困難である。 雑音差画像から変化した情報を利用するマルチスケール空間プーリング(MSSP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-05-22T03:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。