論文の概要: Shared Manifold Learning Using a Triplet Network for Multiple Sensor Translation and Fusion with Missing Data

• arxiv url: http://arxiv.org/abs/2210.17311v1
• Date: Tue, 25 Oct 2022 20:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 14:48:34.547714
• Title: Shared Manifold Learning Using a Triplet Network for Multiple Sensor Translation and Fusion with Missing Data
• Title（参考訳）: 多重センサ変換と欠落データとの融合のためのトリプレットネットワークを用いた共有多様体学習
• Authors: Aditya Dutt, Alina Zare, and Paul Gader
• Abstract要約: コントラスト学習に基づくマルチモーダルアライメントネットワーク(CoMMANet)を提案する。 提案アーキテクチャでは,マルチモーダルな三重項オートエンコーダを用いて,各不均一なモジュラリティの同一クラスのサンプルが互いに近接してマッピングされるように潜在空間をクラスタリングする。
• 参考スコア（独自算出の注目度）: 2.452410403088629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneous data fusion can enhance the robustness and accuracy of an algorithm on a given task. However, due to the difference in various modalities, aligning the sensors and embedding their information into discriminative and compact representations is challenging. In this paper, we propose a Contrastive learning based MultiModal Alignment Network (CoMMANet) to align data from different sensors into a shared and discriminative manifold where class information is preserved. The proposed architecture uses a multimodal triplet autoencoder to cluster the latent space in such a way that samples of the same classes from each heterogeneous modality are mapped close to each other. Since all the modalities exist in a shared manifold, a unified classification framework is proposed. The resulting latent space representations are fused to perform more robust and accurate classification. In a missing sensor scenario, the latent space of one sensor is easily and efficiently predicted using another sensor's latent space, thereby allowing sensor translation. We conducted extensive experiments on a manually labeled multimodal dataset containing hyperspectral data from AVIRIS-NG and NEON, and LiDAR (light detection and ranging) data from NEON. Lastly, the model is validated on two benchmark datasets: Berlin Dataset (hyperspectral and synthetic aperture radar) and MUUFL Gulfport Dataset (hyperspectral and LiDAR). A comparison made with other methods demonstrates the superiority of this method. We achieved a mean overall accuracy of 94.3% on the MUUFL dataset and the best overall accuracy of 71.26% on the Berlin dataset, which is better than other state-of-the-art approaches.
• Abstract（参考訳）: 不均一なデータ融合は、与えられたタスクにおけるアルゴリズムの堅牢性と精度を高めることができる。 しかし,様々なモダリティの違いから,センサの調整や,その情報を識別的・コンパクトな表現に埋め込むことは困難である。 本稿では,異なるセンサからのデータをクラス情報が保存された共有・判別多様体にアライメントするためのコントラスト学習型マルチモーダルアライメントネットワーク(commanet)を提案する。 提案アーキテクチャでは,マルチモーダルな三重項オートエンコーダを用いて,各不均一なモジュラリティの同一クラスのサンプルが互いに近接してマッピングされるように潜在空間をクラスタリングする。 すべてのモジュラリティが共有多様体に存在するので、統一分類フレームワークが提案される。 結果として生じる潜在空間表現はより堅牢で正確な分類を行うために融合される。 センサ不足のシナリオでは、あるセンサの潜時空間を他のセンサの潜時空間を用いて容易に効率よく予測し、センサ翻訳を可能にする。 AVIRIS-NGとNEONのハイパースペクトルデータとNEONのLiDARデータを含む,手動ラベル付きマルチモーダルデータセットについて広範な実験を行った。 最後に、このモデルはベルリンデータセット(hyperspectral and synthetic aperture radar)とmuufl gulfportデータセット(hyperspectral and lidar)の2つのベンチマークデータセットで検証される。 他の手法との比較は、この手法の優位性を示している。 muuflデータセットでは94.3%、ベルリンデータセットでは71.26%という、最先端のアプローチよりも優れた総合精度を実現しました。

関連論文リスト

• Uni$^2$Det: Unified and Universal Framework for Prompt-Guided Multi-dataset 3D Detection [64.08296187555095]
  Uni$2$Detは3D検出のための統一的で普遍的なマルチデータセットトレーニングのためのフレームワークである。 マルチデータセット3D検出のためのマルチステージプロンプトモジュールを提案する。 ゼロショットクロスデータセット転送の結果は,提案手法の一般化能力を検証する。
  論文  参考訳（メタデータ） (2024-09-30T17:57:50Z)
• Multi-Space Alignments Towards Universal LiDAR Segmentation [50.992103482269016]
  M3Netはマルチタスク、マルチデータセット、マルチモダリティのLiDARセグメンテーションを実現するための1対1のフレームワークである。 まず、さまざまなシーンから異なるタイプのセンサーによって取得された大規模な運転データセットを組み合わせる。 次に、トレーニング中にデータ、特徴、ラベル空間という3つの空間でアライメントを行います。
  論文  参考訳（メタデータ） (2024-05-02T17:59:57Z)
• DeepHeteroIoT: Deep Local and Global Learning over Heterogeneous IoT Sensor Data [9.531834233076934]
  本稿では,畳み込みニューラルネットワークと双方向Gated Recurrent Unitを併用して,局所的特徴とグローバルな特徴をそれぞれ学習する新しいディープラーニングモデルを提案する。 特に、このモデルはデータセット全体で平均3.37%の精度と2.85%のF1スコアの絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2024-03-29T06:24:07Z)
• MergeOcc: Bridge the Domain Gap between Different LiDARs for Robust Occupancy Prediction [8.993992124170624]
  MergeOccは、複数のデータセットを活用することで、異なるLiDARを同時に扱うように開発されている。 MergeOccの有効性は、自動運転車のための2つの顕著なデータセットの実験を通じて検証される。
  論文  参考訳（メタデータ） (2024-03-13T13:23:05Z)
• GDTM: An Indoor Geospatial Tracking Dataset with Distributed Multimodal Sensors [9.8714071146137]
  GDTMは、分散マルチモーダルセンサと再構成可能なセンサノード配置を備えた、マルチモーダルオブジェクトトラッキングのための9時間のデータセットである。 我々のデータセットは、マルチモーダルデータ処理のためのアーキテクチャの最適化など、いくつかの研究課題の探索を可能にする。
  論文  参考訳（メタデータ） (2024-02-21T21:24:57Z)
• Multimodal Dataset from Harsh Sub-Terranean Environment with Aerosol Particles for Frontier Exploration [55.41644538483948]
  本稿では, エアロゾル粒子を用いた過酷で非構造的な地下環境からのマルチモーダルデータセットを提案する。 ロボットオペレーティング・システム(ROS)フォーマットのすべてのオンボードセンサーから、同期された生データ計測を含んでいる。 本研究の焦点は、時間的・空間的なデータの多様性を捉えることだけでなく、取得したデータに厳しい条件が及ぼす影響を示すことである。
  論文  参考訳（メタデータ） (2023-04-27T20:21:18Z)
• MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based Self-Supervised Pre-Training [58.07391711548269]
  Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation for autonomous vehicles [63.20765930558542]
  3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。 そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。 ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
  論文  参考訳（メタデータ） (2023-02-16T13:41:19Z)
• Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model [36.993630058695345]
  マルチモーダルRSデータをモダリティ共有およびモダリティ固有成分に分解するための共有特徴学習(S2FL)モデルを提案する。 マルチモーダルベースラインと新たに提案されたS2FLモデルを評価するために、3つのマルチモーダルRSベンチマークデータセット、すなわちHouston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic Aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, digital surface model (DSM) dataがリリースされ、土地被覆分類に使用される。
  論文  参考訳（メタデータ） (2021-05-21T08:14:21Z)
• DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
  現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。 本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。 実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
  論文  参考訳（メタデータ） (2020-10-02T13:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。