論文の概要: CNN based Multistage Gated Average Fusion (MGAF) for Human Action Recognition Using Depth and Inertial Sensors

• arxiv url: http://arxiv.org/abs/2010.16073v1
• Date: Thu, 29 Oct 2020 11:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:43:55.528262
• Title: CNN based Multistage Gated Average Fusion (MGAF) for Human Action Recognition Using Depth and Inertial Sensors
• Title（参考訳）: 深度・慣性センサを用いた人間行動認識のためのCNNを用いた多段Gated Average Fusion(MGAF)
• Authors: Zeeshan Ahmad and Naimul khan
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、アーキテクチャのすべてのレイヤから機能を抽出し、融合するためのレバレッジを提供する。 我々は,CNNの全層から特徴を抽出し,融合する多段Gated Average Fusion (MGAF) ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Network (CNN) provides leverage to extract and fuse features from all layers of its architecture. However, extracting and fusing intermediate features from different layers of CNN structure is still uninvestigated for Human Action Recognition (HAR) using depth and inertial sensors. To get maximum benefit of accessing all the CNN's layers, in this paper, we propose novel Multistage Gated Average Fusion (MGAF) network which extracts and fuses features from all layers of CNN using our novel and computationally efficient Gated Average Fusion (GAF) network, a decisive integral element of MGAF. At the input of the proposed MGAF, we transform the depth and inertial sensor data into depth images called sequential front view images (SFI) and signal images (SI) respectively. These SFI are formed from the front view information generated by depth data. CNN is employed to extract feature maps from both input modalities. GAF network fuses the extracted features effectively while preserving the dimensionality of fused feature as well. The proposed MGAF network has structural extensibility and can be unfolded to more than two modalities. Experiments on three publicly available multimodal HAR datasets demonstrate that the proposed MGAF outperforms the previous state of the art fusion methods for depth-inertial HAR in terms of recognition accuracy while being computationally much more efficient. We increase the accuracy by an average of 1.5 percent while reducing the computational cost by approximately 50 percent over the previous state of the art.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、アーキテクチャのすべてのレイヤから機能を抽出し、融合するためのレバレッジを提供する。 しかし, 深度と慣性センサーを用いた人行動認識(HAR)では, 異なるCNN構造の層から中間的特徴を抽出し, 融合することはいまだ検討されていない。 本稿では,CNNのすべての層にアクセスする利点を最大限に活用するために,計算効率の良いGAF(Gated Average Fusion)ネットワークを用いて,CNNの全層から特徴を抽出し,融合する多段Gated Average Fusion(MGAF)ネットワークを提案する。 提案したMGAFの入力時に,深度センサと慣性センサのデータをそれぞれ,シーケンシャルフロントビュー画像 (SFI) と信号画像 (SI) と呼ばれる深度イメージに変換する。 これらのSFIは、深度データによって生成されたフロントビュー情報から形成される。 CNNは、両方の入力モードから特徴マップを抽出するために使用される。 GAFネットワークは抽出した特徴を効果的に融合させ、融合した特徴の次元性も維持する。 提案したMGAFネットワークは構造的拡張性があり、2つ以上のモダリティに展開できる。 3つの公開マルチモーダルHARデータセットの実験により、提案されたMGAFは、認識精度の点で深度慣性HARに対するアートフュージョン手法の以前の状態よりも、計算的にはるかに効率的であることを示した。 従来の技術に比べて計算コストを約50%削減しながら,平均1.5パーセントの精度向上を実現しています。

関連論文リスト

• MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer [21.603763071331667]
  本稿では,アテンショントランスフォーマを用いたマルチスケール畳み込みニューラルネットワーク(MATCNN)に基づく,新しいクロスモーダル画像融合手法を提案する。 MATCNNは、MSFM(Multi-scale fusion Module)を用いて異なるスケールで局所的特徴を抽出し、グローバル特徴抽出モジュール(GFEM)を用いてグローバル特徴を抽出する。 情報マスクを用いて画像内の関連する詳細をラベル付けし、融合画像中の可視画像における赤外線画像および背景テクスチャにおける重要な情報保存の比率を高める。
  論文  参考訳（メタデータ） (2025-02-04T03:09:54Z)
• DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion [21.64382683858586]
  赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。 最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。 MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
  論文  参考訳（メタデータ） (2024-09-18T02:14:08Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Inertial Sensor Data To Image Encoding For Human Action Recognition [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンの分野で成功したディープラーニングモデルである。 本稿では,慣性センサデータから活動画像への変換に4種類の空間領域法を用いる。 マルチモーダル・フュージョン・フレームワークを構築するために,2つの空間領域フィルタを結合して各種類のアクティビティ・イメージをマルチモーダル化した。
  論文  参考訳（メタデータ） (2021-05-28T01:22:52Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Efficient Human Pose Estimation by Learning Deeply Aggregated Representations [67.24496300046255]
  深く集約された表現を学習することで、効率的な人間ポーズ推定ネットワーク(DANet)を提案する。 私たちのネットワークは、より小さなモデルの複雑さで、同等またはより良い精度を達成できます。
  論文  参考訳（メタデータ） (2020-12-13T10:58:07Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Towards Improved Human Action Recognition Using Convolutional Neural Networks and Multimodal Fusion of Depth and Inertial Sensor Data [1.52292571922932]
  本稿では,深度と慣性センサデータの融合によるヒューマンアクション認識(HAR)の精度向上を試みる。 我々は、深度データを逐次フロントビューイメージ(SFI)に変換し、これらの画像上でトレーニング済みのAlexNetを微調整する。 慣性データを信号画像(SI)に変換し、これらの画像上で別の畳み込みニューラルネットワーク(CNN)を訓練する。
  論文  参考訳（メタデータ） (2020-08-22T03:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。