論文の概要: Shared Manifold Learning Using a Triplet Network for Multiple Sensor
Translation and Fusion with Missing Data
- arxiv url: http://arxiv.org/abs/2210.17311v1
- Date: Tue, 25 Oct 2022 20:22:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 14:48:34.547714
- Title: Shared Manifold Learning Using a Triplet Network for Multiple Sensor
Translation and Fusion with Missing Data
- Title(参考訳): 多重センサ変換と欠落データとの融合のためのトリプレットネットワークを用いた共有多様体学習
- Authors: Aditya Dutt, Alina Zare, and Paul Gader
- Abstract要約: コントラスト学習に基づくマルチモーダルアライメントネットワーク(CoMMANet)を提案する。
提案アーキテクチャでは,マルチモーダルな三重項オートエンコーダを用いて,各不均一なモジュラリティの同一クラスのサンプルが互いに近接してマッピングされるように潜在空間をクラスタリングする。
- 参考スコア(独自算出の注目度): 2.452410403088629
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous data fusion can enhance the robustness and accuracy of an
algorithm on a given task. However, due to the difference in various
modalities, aligning the sensors and embedding their information into
discriminative and compact representations is challenging. In this paper, we
propose a Contrastive learning based MultiModal Alignment Network (CoMMANet) to
align data from different sensors into a shared and discriminative manifold
where class information is preserved. The proposed architecture uses a
multimodal triplet autoencoder to cluster the latent space in such a way that
samples of the same classes from each heterogeneous modality are mapped close
to each other. Since all the modalities exist in a shared manifold, a unified
classification framework is proposed. The resulting latent space
representations are fused to perform more robust and accurate classification.
In a missing sensor scenario, the latent space of one sensor is easily and
efficiently predicted using another sensor's latent space, thereby allowing
sensor translation. We conducted extensive experiments on a manually labeled
multimodal dataset containing hyperspectral data from AVIRIS-NG and NEON, and
LiDAR (light detection and ranging) data from NEON. Lastly, the model is
validated on two benchmark datasets: Berlin Dataset (hyperspectral and
synthetic aperture radar) and MUUFL Gulfport Dataset (hyperspectral and LiDAR).
A comparison made with other methods demonstrates the superiority of this
method. We achieved a mean overall accuracy of 94.3% on the MUUFL dataset and
the best overall accuracy of 71.26% on the Berlin dataset, which is better than
other state-of-the-art approaches.
- Abstract(参考訳): 不均一なデータ融合は、与えられたタスクにおけるアルゴリズムの堅牢性と精度を高めることができる。
しかし,様々なモダリティの違いから,センサの調整や,その情報を識別的・コンパクトな表現に埋め込むことは困難である。
本稿では,異なるセンサからのデータをクラス情報が保存された共有・判別多様体にアライメントするためのコントラスト学習型マルチモーダルアライメントネットワーク(commanet)を提案する。
提案アーキテクチャでは,マルチモーダルな三重項オートエンコーダを用いて,各不均一なモジュラリティの同一クラスのサンプルが互いに近接してマッピングされるように潜在空間をクラスタリングする。
すべてのモジュラリティが共有多様体に存在するので、統一分類フレームワークが提案される。
結果として生じる潜在空間表現はより堅牢で正確な分類を行うために融合される。
センサ不足のシナリオでは、あるセンサの潜時空間を他のセンサの潜時空間を用いて容易に効率よく予測し、センサ翻訳を可能にする。
AVIRIS-NGとNEONのハイパースペクトルデータとNEONのLiDARデータを含む,手動ラベル付きマルチモーダルデータセットについて広範な実験を行った。
最後に、このモデルはベルリンデータセット(hyperspectral and synthetic aperture radar)とmuufl gulfportデータセット(hyperspectral and lidar)の2つのベンチマークデータセットで検証される。
他の手法との比較は、この手法の優位性を示している。
muuflデータセットでは94.3%、ベルリンデータセットでは71.26%という、最先端のアプローチよりも優れた総合精度を実現しました。
関連論文リスト
- GDTM: An Indoor Geospatial Tracking Dataset with Distributed Multimodal
Sensors [9.8714071146137]
GDTMは、分散マルチモーダルセンサと再構成可能なセンサノード配置を備えた、マルチモーダルオブジェクトトラッキングのための9時間のデータセットである。
我々のデータセットは、マルチモーダルデータ処理のためのアーキテクチャの最適化など、いくつかの研究課題の探索を可能にする。
論文 参考訳(メタデータ) (2024-02-21T21:24:57Z) - Multi-Modal Multi-Task (3MT) Road Segmentation [0.8287206589886879]
我々は、多くのSOTA作業で通常行われているように、代わりに生のセンサー入力を使用することに重点を置いており、高い事前処理コストを必要とするアーキテクチャを活用している。
本研究では,複数センサからのデータをマルチタスク学習アーキテクチャに組み込むことにより,道路セグメンテーションの費用対効果,高精度なソリューションを提案する。
論文 参考訳(メタデータ) (2023-08-23T08:15:15Z) - Multimodal Dataset from Harsh Sub-Terranean Environment with Aerosol
Particles for Frontier Exploration [55.41644538483948]
本稿では, エアロゾル粒子を用いた過酷で非構造的な地下環境からのマルチモーダルデータセットを提案する。
ロボットオペレーティング・システム(ROS)フォーマットのすべてのオンボードセンサーから、同期された生データ計測を含んでいる。
本研究の焦点は、時間的・空間的なデータの多様性を捉えることだけでなく、取得したデータに厳しい条件が及ぼす影響を示すことである。
論文 参考訳(メタデータ) (2023-04-27T20:21:18Z) - MV-JAR: Masked Voxel Jigsaw and Reconstruction for LiDAR-Based
Self-Supervised Pre-Training [58.07391711548269]
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
Masked Voxel Jigsaw and Reconstruction (MV-JAR) method for LiDAR-based self-supervised pre-training
論文 参考訳(メタデータ) (2023-03-23T17:59:02Z) - Navya3DSeg -- Navya 3D Semantic Segmentation Dataset & split generation
for autonomous vehicles [63.20765930558542]
3Dセマンティックデータは、障害物検出やエゴ-車両の局所化といった中核的な認識タスクに有用である。
そこで我々は,大規模生産段階の運用領域に対応する多様なラベル空間を持つ新しいデータセットであるNavala 3D(Navya3DSeg)を提案する。
ラベルのない23のラベル付きシーケンスと25の補足シーケンスが含まれており、ポイントクラウド上の自己教師付きおよび半教師付きセマンティックセマンティックセグメンテーションベンチマークを探索するために設計された。
論文 参考訳(メタデータ) (2023-02-16T13:41:19Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T22:04:19Z) - Multimodal Remote Sensing Benchmark Datasets for Land Cover
Classification with A Shared and Specific Feature Learning Model [36.993630058695345]
マルチモーダルRSデータをモダリティ共有およびモダリティ固有成分に分解するための共有特徴学習(S2FL)モデルを提案する。
マルチモーダルベースラインと新たに提案されたS2FLモデルを評価するために、3つのマルチモーダルRSベンチマークデータセット、すなわちHouston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic Aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, digital surface model (DSM) dataがリリースされ、土地被覆分類に使用される。
論文 参考訳(メタデータ) (2021-05-21T08:14:21Z) - DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。
本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。
実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
論文 参考訳(メタデータ) (2020-10-02T13:59:05Z) - Depth Completion via Inductive Fusion of Planar LIDAR and Monocular
Camera [27.978780155504467]
我々は、確率モデルにインスパイアされた異なるセンサのモーダル性をよりよく融合させるインダクティブ遅延融合ブロックを導入する。
このブロックは、疎深度特徴による実演に基づく深度予測を誘導するために、密集したコンテキスト特徴を使用する。
提案手法は,ベンチマークデータセットとシミュレーションデータセットの両方に対する従来のアプローチと比較して有望な結果を示す。
論文 参考訳(メタデータ) (2020-09-03T18:39:57Z) - SL-DML: Signal Level Deep Metric Learning for Multimodal One-Shot Action
Recognition [0.0]
埋め込み空間における近接探索に対する行動認識問題を削減するための計量学習手法を提案する。
我々は信号を画像にエンコードし、深い残差CNNを用いて特徴を抽出する。
結果として得られるエンコーダは特徴を埋め込み空間に変換し、より近い距離は類似の動作を符号化し、高い距離は異なる動作を符号化する。
論文 参考訳(メタデータ) (2020-04-23T11:28:27Z) - Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。
我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。
実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
論文 参考訳(メタデータ) (2020-03-23T10:51:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。