論文の概要: Robust Multimodal Fusion for Human Activity Recognition

• arxiv url: http://arxiv.org/abs/2303.04636v1
• Date: Wed, 8 Mar 2023 14:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 13:38:07.083940
• Title: Robust Multimodal Fusion for Human Activity Recognition
• Title（参考訳）: ヒト活動認識のためのロバストマルチモーダル融合
• Authors: Sanju Xaviar, Xin Yang and Omid Ardakanian
• Abstract要約: 本稿では,データ品質問題に対して堅牢なHARのためのマルチモーダル融合モデルであるCentaurを提案する。 Centaurデータクリーニングモジュールは、2つの最先端のオートエンコーダベースのモデルより優れ、そのマルチモーダル融合モジュールは4つの強いベースラインより優れている。 2つの関連する堅牢な融合アーキテクチャと比較して、Centaurはより堅牢であり、HARでは11.59-17.52%高い精度を達成している。
• 参考スコア（独自算出の注目度）: 5.858726030608716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of IoT and mobile devices equipped with heterogeneous sensors has enabled new applications that rely on the fusion of time-series data generated by multiple sensors with different modalities. While there are promising deep neural network architectures for multimodal fusion, their performance falls apart quickly in the presence of consecutive missing data and noise across multiple modalities/sensors, the issues that are prevalent in real-world settings. We propose Centaur, a multimodal fusion model for human activity recognition (HAR) that is robust to these data quality issues. Centaur combines a data cleaning module, which is a denoising autoencoder with convolutional layers, and a multimodal fusion module, which is a deep convolutional neural network with the self-attention mechanism to capture cross-sensor correlation. We train Centaur using a stochastic data corruption scheme and evaluate it on three datasets that contain data generated by multiple inertial measurement units. Centaur's data cleaning module outperforms 2 state-of-the-art autoencoder-based models and its multimodal fusion module outperforms 4 strong baselines. Compared to 2 related robust fusion architectures, Centaur is more robust, achieving 11.59-17.52% higher accuracy in HAR, especially in the presence of consecutive missing data in multiple sensor channels.
• Abstract（参考訳）: 異種センサを備えたiotおよびモバイルデバイスの増殖により、複数のセンサが生成する時系列データの融合に依存する新しいアプリケーションが可能になる。 マルチモーダル融合のためのディープニューラルネットワークアーキテクチャは期待されているが、その性能は、複数のモーダル/センサーにまたがる連続したデータとノイズの存在によって、すぐにバラバラになってしまう。 我々は,これらのデータ品質問題に対して堅牢な,人間活動認識(HAR)のためのマルチモーダル融合モデルであるCentaurを提案する。 Centaurは、畳み込み層をデノナイズするオートエンコーダであるデータクリーニングモジュールと、深い畳み込みニューラルネットワークであるマルチモーダル融合モジュールと、自己認識機構を組み合わせて、クロスセンサー相関をキャプチャする。 確率的データ破損スキームを用いてcentaurをトレーニングし,複数の慣性測定ユニットで生成されたデータを含む3つのデータセット上で評価する。 Centaurのデータクリーニングモジュールは2つの最先端のオートエンコーダベースモデルより優れ、マルチモーダル融合モジュールは4つの強力なベースラインより優れている。 2つの関連する堅牢な融合アーキテクチャと比較して、Centaurはより堅牢で、HARにおいて11.59-17.52%高い精度を実現している。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Efficient Multi-Resolution Fusion for Remote Sensing Data with Label Uncertainty [0.7832189413179361]
  本稿では,画素レベルのトレーニングラベルを必要とせず,マルチモーダル・マルチレゾリューションリモートセンサデータを融合する新しい手法を提案する。 探索空間を削減し,MIMRFフレームワークの効率を大幅に改善する二元ファジィ測度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T17:34:32Z)
• Disentangling Imperfect: A Wavelet-Infused Multilevel Heterogeneous Network for Human Activity Recognition in Flawed Wearable Sensor Data [30.213716132980874]
  センサデータ解析のためのマルチレベルヘテロジニアスニューラルネットワーク MHNN を提案する。 センサデータからマルチレベル離散ウェーブレット分解法を用いてマルチレゾリューション特徴を抽出する。 提案したモデルに,マルチスケール特徴の学習を可能にする異種特徴抽出器を装備する。
  論文  参考訳（メタデータ） (2024-01-26T06:08:49Z)
• FedFusion: Manifold Driven Federated Learning for Multi-satellite and Multi-modality Fusion [30.909597853659506]
  本稿では,各クライアント上の局所データをランダムにサンプリングし,各クライアントの浅い特徴の顕著な多様体構造を共同で推定する,多様体駆動多モード融合フレームワークであるFedFusionを提案する。 衛星コンステレーションの物理空間制限を考慮し、深層潜伏空間における多様体データに特化して設計されたマルチモーダル・フェデレーション学習モジュールを開発した。 提案フレームワークは,従来の3つのマルチモーダルデータセットの性能を上回り,通信コストを4.5%圧縮しながら,分類平均精度94.35$%を実現している。
  論文  参考訳（メタデータ） (2023-11-16T03:29:19Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition [2.35066982314539]
  Wi-Fi信号は、医療などの分野において、人間の知覚と活動認識に重要な機会を提供する。 現在のシステムでは、複数のセンサーから取得した情報を効果的に利用して、異なるアクティビティを認識することはできない。 本稿では,マルチモーダル・マルチセンサ融合のための注意モデルであるFusion Transformerを提案する。
  論文  参考訳（メタデータ） (2022-08-15T15:38:10Z)
• SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices [69.1412199244903]
  エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
  論文  参考訳（メタデータ） (2021-09-08T22:06:16Z)
• Representation Learning for Remote Sensing: An Unsupervised Sensor Fusion Approach [0.0]
  本稿では,複数の情報源から得られたコヒーレンスデータを利用したコントラシティブ・センサ・フュージョンを提案し,それらの組み合わせのすべての有用な表現を学習する。 4700万枚のラベルのない画像三重項のデータセットを用いて、入力センサーから可能なチャネルの組み合わせから有意義な表現を生成するエンコーダを訓練する。 これらの表現は、リモートセンシング分類タスクにおいて、完全な教師付きイメージネット重みよりも優れ、より多くのセンサーが融合するにつれて改善される。
  論文  参考訳（メタデータ） (2021-08-11T08:32:58Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Exploring Data Augmentation for Multi-Modality 3D Object Detection [82.9988604088494]
  ポイントクラウドとイメージに基づくマルチモダリティメソッドは、ポイントクラウドのみを使用するアプローチよりも、わずかに良いか、時には悪いだけである。 トランスフォーメーションフローと呼ばれるパイプラインを提案し、トランスフォーメーションのリバースとリプレイによってシングルモードとマルチモードのデータ拡張のギャップを埋める。 また,本手法は第3回nuScenes検出チャレンジでPKL賞を受賞した。
  論文  参考訳（メタデータ） (2020-12-23T15:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。