論文の概要: Multimodal sensor fusion in the latent representation space
- arxiv url: http://arxiv.org/abs/2208.02183v1
- Date: Wed, 3 Aug 2022 16:13:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:21:27.163122
- Title: Multimodal sensor fusion in the latent representation space
- Title(参考訳): 潜在表現空間におけるマルチモーダルセンサ融合
- Authors: Robert J. Piechocki, Xiaoyang Wang, Mohammud J. Bocus
- Abstract要約: 学習データからマルチモーダル生成モデルを構築する。
第2段階では、生成モデルは、センサー融合タスクの事前と探索多様体の再構成として機能する。
マルチモーダル核融合実験における有効性と優れた性能を示す。
- 参考スコア(独自算出の注目度): 4.132799233018846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A new method for multimodal sensor fusion is introduced. The technique relies
on a two-stage process. In the first stage, a multimodal generative model is
constructed from unlabelled training data. In the second stage, the generative
model serves as a reconstruction prior and the search manifold for the sensor
fusion tasks. The method also handles cases where observations are accessed
only via subsampling i.e. compressed sensing. We demonstrate the effectiveness
and excellent performance on a range of multimodal fusion experiments such as
multisensory classification, denoising, and recovery from subsampled
observations.
- Abstract(参考訳): マルチモーダルセンサ融合のための新しい手法を提案する。
この技術は2段階のプロセスに依存している。
第1段階では、未学習のトレーニングデータからマルチモーダル生成モデルを構築する。
第2段階では、生成モデルは、センサ融合タスクの事前再構成および探索多様体として機能する。
この方法は、サブサンプリング、すなわち圧縮センシングを通じてのみ観測がアクセスされる場合も扱う。
本研究は,マルチセンサ分類,デノナイジング,サブサンプリング観測からの回復などの多モード核融合実験における有効性と優れた性能を示す。
関連論文リスト
- Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion
Processes [67.80645464187688]
多様体上に生成過程を構築するための原理的枠組みを導入する。
混合プロセスは、最も可能性の高いエンドポイントに向かって漂流誘導することを特徴とする。
混合過程を学習するための簡易かつ効率的な学習目標を提案する。
論文 参考訳(メタデータ) (2023-10-11T06:04:40Z) - Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。
マルチモーダルデータに適した深層学習一クラス分類法を提案する。
論文 参考訳(メタデータ) (2023-09-25T12:31:18Z) - A Novel Two Stream Decision Level Fusion of Vision and Inertial Sensors
Data for Automatic Multimodal Human Activity Recognition System [2.5214116139219787]
本稿では,新しいマルチモーダルな人間活動認識システムを提案する。
視覚と慣性センサーを2ストリームの意思決定レベルで融合させる。
提案法で得られた収差は96.9%、97.6%、98.7%、95.9%である。
論文 参考訳(メタデータ) (2023-06-27T19:29:35Z) - Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。
本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文 参考訳(メタデータ) (2023-03-01T15:48:27Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Multimodal Channel-Mixing: Channel and Spatial Masked AutoEncoder on
Facial Action Unit Detection [12.509298933267225]
本稿では,MCM(Multimodal Channel-Mixing)と呼ばれる新しいマルチモーダル再構成ネットワークを提案する。
このアプローチは、Channel-Mixingモジュールを統合して、5つのうち2つをランダムにドロップする、初期の融合設定に従っている。
このモジュールはチャネルの冗長性を低下させるだけでなく、マルチモーダル学習と再構成機能も促進し、ロバストな特徴学習をもたらす。
論文 参考訳(メタデータ) (2022-09-25T15:18:56Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-24T17:48:04Z) - Multistage linguistic conditioning of convolutional layers for speech
emotion recognition [7.482371204083917]
分類的・次元音声感情認識(SER)におけるテキストと音声の深層融合の有効性について検討する。
深層ニューラルネットワーク(DNN)の複数の層に2つの情報ストリームを統合する新しい多段階融合法を提案する。
広く使われているIEMOCAPとMSP-Podcastデータベースの実験により、この2つの融合法は浅い(後期)核融合ベースラインよりも明らかに優れていることが示された。
論文 参考訳(メタデータ) (2021-10-13T11:28:04Z) - Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。
我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。
このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
論文 参考訳(メタデータ) (2021-04-07T04:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。