論文の概要: Explaining Multimodal Data Fusion: Occlusion Analysis for Wilderness
Mapping
- arxiv url: http://arxiv.org/abs/2304.02407v1
- Date: Wed, 5 Apr 2023 12:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 12:43:18.043159
- Title: Explaining Multimodal Data Fusion: Occlusion Analysis for Wilderness
Mapping
- Title(参考訳): マルチモーダルデータ融合の解説--ワイルドネスマッピングのためのオクルージョン解析
- Authors: Burak Ekim and Michael Schmitt
- Abstract要約: 本研究では,マルチモーダル地球観測データのモダリティレベル解釈のためのディープラーニングフレームワークを提案する。
本研究では, 地表面積や夜間光データなどの補助データから, 荒野マッピングの課題を大いに生かしていることを示す。
- 参考スコア(独自算出の注目度): 2.123635308480885
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Jointly harnessing complementary features of multi-modal input data in a
common latent space has been found to be beneficial long ago. However, the
influence of each modality on the models decision remains a puzzle. This study
proposes a deep learning framework for the modality-level interpretation of
multimodal earth observation data in an end-to-end fashion. While leveraging an
explainable machine learning method, namely Occlusion Sensitivity, the proposed
framework investigates the influence of modalities under an early-fusion
scenario in which the modalities are fused before the learning process. We show
that the task of wilderness mapping largely benefits from auxiliary data such
as land cover and night time light data.
- Abstract(参考訳): 共通潜在空間におけるマルチモーダル入力データの相補的特徴の併用は、古くから有益であることが判明している。
しかし、モデル決定に対する各モダリティの影響はパズルのままである。
本研究では,マルチモーダル地球観測データのエンドツーエンドでのモーダリティレベル解釈のためのディープラーニングフレームワークを提案する。
提案手法は, 咬合感度と呼ばれる説明可能な機械学習手法を活用しつつ, 学習過程の前にモーダル度が融合する早期融解シナリオにおけるモーダル度の影響について検討する。
荒野マッピングの課題は,土地被覆や夜間光データといった補助データから大きな恩恵を受けている。
関連論文リスト
- One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。
提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-09-15T07:12:27Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Multimodal Explainability via Latent Shift applied to COVID-19
stratification [1.1129469448121927]
本稿では,モダリティの再構築とサンプル分類を共同で学習する,設計による説明が可能な深いアーキテクチャを提案する。
AIforCOVIDデータセットを使用して、COVID-19パンデミックの文脈でのアプローチを検証する。
論文 参考訳(メタデータ) (2022-12-28T20:07:43Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳(メタデータ) (2022-01-26T17:54:14Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - Enhancing ensemble learning and transfer learning in multimodal data
analysis by adaptive dimensionality reduction [10.646114896709717]
マルチモーダルデータ分析では、すべての観測が同じレベルの信頼性や情報品質を示すわけではない。
この問題を克服するために,次元削減のための適応的アプローチを提案する。
多様な研究分野で得られたマルチモーダルデータセットのアプローチをテストします。
論文 参考訳(メタデータ) (2021-05-08T11:53:12Z) - OR-Net: Pointwise Relational Inference for Data Completion under Partial
Observation [51.083573770706636]
この作業はリレーショナル推論を使って不完全なデータを埋めます。
本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
論文 参考訳(メタデータ) (2021-05-02T06:05:54Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry and
Fusion [6.225190099424806]
マルチモーダルまたはマルチビューデータは、各モーダル/ビューがデータオブジェクトの個々のプロパティをエンコードする、ビッグデータの主要なストリームとして急増している。
既存の最先端技術のほとんどは、より優れたパフォーマンスを実現するために、マルチモーダル空間からのエネルギーや情報を融合する方法に重点を置いている。
ディープニューラルネットワークは、高次元マルチメディアデータの非線形分布をうまく捉えるための強力なアーキテクチャとして現れてきた。
論文 参考訳(メタデータ) (2020-06-15T06:42:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。