Fugu-MT 論文翻訳(概要): Investigating Imbalances Between SAR and Optical Utilization for Multi-Modal Urban Mapping

論文の概要: Investigating Imbalances Between SAR and Optical Utilization for Multi-Modal Urban Mapping

arxiv url: http://arxiv.org/abs/2304.05080v1
Date: Tue, 11 Apr 2023 09:22:51 GMT
ステータス: 処理完了
システム内更新日: 2023-04-12 15:40:29.557935
Title: Investigating Imbalances Between SAR and Optical Utilization for Multi-Modal Urban Mapping
Title（参考訳）: マルチモーダル都市マッピングにおけるSARと光利用の不均衡の検討
Authors: Sebastian Hafner, Yifang Ban, Andrea Nascetti
Abstract要約: 最近の都市マッピング手法では、多モードディープニューラルネットワークを用いて合成開口レーダ(SAR)と光学データを融合している。本稿では,都市マッピングにおけるSARと光データの利用について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Accurate urban maps provide essential information to support sustainable urban development. Recent urban mapping methods use multi-modal deep neural networks to fuse Synthetic Aperture Radar (SAR) and optical data. However, multi-modal networks may rely on just one modality due to the greedy nature of learning. In turn, the imbalanced utilization of modalities can negatively affect the generalization ability of a network. In this paper, we investigate the utilization of SAR and optical data for urban mapping. To that end, a dual-branch network architecture using intermediate fusion modules to share information between the uni-modal branches is utilized. A cut-off mechanism in the fusion modules enables the stopping of information flow between the branches, which is used to estimate the network's dependence on SAR and optical data. While our experiments on the SEN12 Global Urban Mapping dataset show that good performance can be achieved with conventional SAR-optical data fusion (F1 score = 0.682 $\pm$ 0.014), we also observed a clear under-utilization of optical data. Therefore, future work is required to investigate whether a more balanced utilization of SAR and optical data can lead to performance improvements.
Abstract（参考訳）: 正確な都市地図は持続可能な都市開発を支援するために重要な情報を提供する。最近の都市マッピング手法では、多モードディープニューラルネットワークを用いて合成開口レーダ(SAR)と光学データを融合している。しかし、マルチモーダルネットワークは学習の欲深い性質のため、1つのモダリティに依存するかもしれない。逆に、モダリティの不均衡利用はネットワークの一般化能力に悪影響を及ぼす可能性がある。本稿では,都市マッピングにおけるSARと光データの利用について検討する。そのために、中間核融合モジュールを用いた二重分岐ネットワークアーキテクチャを用いて、ユニモーダル分岐間の情報共有を行う。融合モジュールの遮断機構により、ネットワークのSARと光学データへの依存性を推定するために使用される枝間の情報の流れを停止することができる。 sen12グローバルアーバンマッピングデータセットに関する実験では、従来のsar-opticalデータ融合(f1スコア = 0.682$\pm$ 0.014)で優れた性能が得られることが示されましたが、光学データの明確な利用不足も観察しました。したがって、SARと光データのよりバランスのとれた利用が性能改善につながるかどうかを調べるためには、今後の研究が必要である。

関連論文リスト

TSGAN: An Optical-to-SAR Dual Conditional GAN for Optical based SAR Temporal Shifting [0.6827423171182154]
本研究は,光学-SAR翻訳の領域を小さくする研究である。本稿では,所望のタイムスタンプから光データを,異なる時間点からのSARデータとともに入力する,SAR時間シフトと呼ばれる新しい手法を提案する。このモデルは、光学データで観測された変化に基づいてSARデータを修正し、所望のタイムスタンプに対してSARデータを生成する。
論文参考訳（メタデータ） (2023-12-31T09:38:53Z)
Multi-Modal Deep Learning for Multi-Temporal Urban Mapping With a Partly Missing Optical Modality [0.0]
本稿では,Sentinel-1ミッションとSentinel-2ミッションのマルチモーダル衛星データを用いた,新しい都市マッピング手法を提案する。特に、雲による光学的モダリティの欠如の問題に焦点を当てている。提案手法は,可能であればマルチモーダルデータを利用するのに有効であるが,光学的モダリティが欠如している場合にも有効性を維持する。
論文参考訳（メタデータ） (2023-06-01T13:06:44Z)
Land Use Prediction using Electro-Optical to SAR Few-Shot Transfer Learning [16.71560262537924]
深層学習法は、電気光学(EO)や合成開口レーダ(SAR)画像などの異なる衛星モードの分析を容易にする。ニューラルネットワーク埋め込みの分布アライメントは,スライスされたワッサーシュタイン距離(SWD)損失を用いて,強力な伝達学習モデルを生成することができることを示す。数ショットのローカル気候ゾーン(LCZ)予測への応用として、これらのネットワークは、多数のクラスを持つデータセット上で、複数の共通ベースラインより優れていることを示す。
論文参考訳（メタデータ） (2022-12-04T22:41:25Z)
Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things [82.15959827765325]
環境支援型生活(AAL)のためのマルチモーダルセンサフュージョンの新しいアプローチを提案する。我々は、標準マルチモーダルアプローチの2つの大きな欠点、限られた範囲のカバレッジ、信頼性の低下に対処する。我々の新しいフレームワークは、三重項学習によるモダリティ幻覚の概念を融合させ、異なるモダリティを持つモデルを訓練し、推論時に欠落したセンサーに対処する。
論文参考訳（メタデータ） (2022-07-14T10:04:18Z)
SAR-ShipNet: SAR-Ship Detection Neural Network via Bidirectional Coordinate Attention and Multi-resolution Feature Fusion [7.323279438948967]
本稿では,ニューラルネットワークによる合成開口レーダ(SAR)画像から,事実上有意義な船舶検出問題について検討する。本稿では,CentralNetに基づく双方向協調注意(BCA)とMRF(Multi- resolution Feature Fusion)を新たに開発したSAR-ShipNet(略してSAR-ShipNet)を提案する。パブリックなSAR-Shipデータセットの実験結果から,SAR-ShipNetは速度と精度の両面で競争上の優位性を達成していることがわかった。
論文参考訳（メタデータ） (2022-03-29T12:27:04Z)
Aerial Images Meet Crowdsourced Trajectories: A New Approach to Robust Road Extraction [110.61383502442598]
我々は、Cross-Modal Message Propagation Network (CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを紹介する。 CMMPNetは、モダリティ固有の表現学習のための2つのディープオートエンコーダと、クロスモーダル表現洗練のためのテーラー設計のデュアルエンハンスメントモジュールで構成されている。実世界の3つのベンチマーク実験により, CMMPNetによる堅牢な道路抽出の有効性が示された。
論文参考訳（メタデータ） (2021-11-30T04:30:10Z)
RRNet: Relational Reasoning Network with Parallel Multi-scale Attention for Salient Object Detection in Optical Remote Sensing Images [82.1679766706423]
光リモートセンシング画像(RSI)のためのSODは、光学RSIから視覚的に特徴的な物体や領域を探索・抽出することを目的としている。光学RSIにおけるSODに並列なマルチスケールアテンションを持つリレーショナル推論ネットワークを提案する。提案するRRNetは,既存の最先端SODコンペティタよりも質的,定量的に優れている。
論文参考訳（メタデータ） (2021-10-27T07:18:32Z)
Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文参考訳（メタデータ） (2021-09-25T10:59:39Z)
Learning Synergistic Attention for Light Field Salient Object Detection [20.53608130346838]
本稿では,光電界サルエント物体検出のための新しいシナジスティックアテンションネットワーク(sa-net)を提案する。私たちのsa-netは、3次元畳み込みニューラルネットワークによる焦点スタックの豊富な情報を活用し、マルチモーダル光フィールドデータの高レベルな特徴をデコードし、サリエンシーマップを予測する。
論文参考訳（メタデータ） (2021-04-28T17:56:04Z)
FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation [72.41370576242116]
フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
論文参考訳（メタデータ） (2020-01-17T07:13:51Z)
Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution [82.1739023587565]
ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
論文参考訳（メタデータ） (2020-01-14T03:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。