論文の概要: HAMLET: A Hierarchical Multimodal Attention-based Human Activity
Recognition Algorithm
- arxiv url: http://arxiv.org/abs/2008.01148v1
- Date: Mon, 3 Aug 2020 19:34:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 07:06:40.651770
- Title: HAMLET: A Hierarchical Multimodal Attention-based Human Activity
Recognition Algorithm
- Title(参考訳): hamlet:階層型マルチモーダルアテンションに基づくヒューマンアクティビティ認識アルゴリズム
- Authors: Md Mofijul Islam and Tariq Iqbal
- Abstract要約: ヒューマンアクティビティ認識(HAR)は,マルチモーダルデータ融合の難しさから,ロボットにとって困難な課題である。
本研究では,ニューラルネットワークに基づくマルチモーダルアルゴリズムHAMLETを提案する。
上層層における多モーダル特徴を計算するために,有意な単モーダル特徴を分離・融合する新しい多モーダルアテンション機構を開発した。
- 参考スコア(独自算出の注目度): 5.276937617129594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To fluently collaborate with people, robots need the ability to recognize
human activities accurately. Although modern robots are equipped with various
sensors, robust human activity recognition (HAR) still remains a challenging
task for robots due to difficulties related to multimodal data fusion. To
address these challenges, in this work, we introduce a deep neural
network-based multimodal HAR algorithm, HAMLET. HAMLET incorporates a
hierarchical architecture, where the lower layer encodes spatio-temporal
features from unimodal data by adopting a multi-head self-attention mechanism.
We develop a novel multimodal attention mechanism for disentangling and fusing
the salient unimodal features to compute the multimodal features in the upper
layer. Finally, multimodal features are used in a fully connect neural-network
to recognize human activities. We evaluated our algorithm by comparing its
performance to several state-of-the-art activity recognition algorithms on
three human activity datasets. The results suggest that HAMLET outperformed all
other evaluated baselines across all datasets and metrics tested, with the
highest top-1 accuracy of 95.12% and 97.45% on the UTD-MHAD [1] and the
UT-Kinect [2] datasets respectively, and F1-score of 81.52% on the UCSD-MIT [3]
dataset. We further visualize the unimodal and multimodal attention maps, which
provide us with a tool to interpret the impact of attention mechanisms
concerning HAR.
- Abstract(参考訳): ロボットは人間の活動を正確に認識する能力を必要としている。
現代のロボットには様々なセンサーが備わっているが、マルチモーダルデータ融合の難しさから、堅牢な人間活動認識(HAR)は依然としてロボットにとって困難な課題である。
これらの課題に対処するため、我々はディープニューラルネットワークに基づくマルチモーダルHARアルゴリズムHAMLETを導入する。
HAMLETには階層型アーキテクチャが組み込まれており、低層はマルチヘッドの自己認識機構を採用することで、非モーダルデータからの時空間的特徴を符号化する。
上層層における多モーダル特徴を計算するために,有意な単モーダル特徴を分離・融合する新しい多モーダルアテンション機構を開発した。
最後に、マルチモーダル機能は、人間の活動を認識するために完全に接続されたニューラルネットワークで使用される。
このアルゴリズムを,3つのヒューマンアクティビティデータセットを用いた最先端アクティビティ認識アルゴリズムと比較して評価した。
その結果、HAMLETは全てのデータセットとメトリクスで評価されたベースラインを上回り、最高トップ-1の精度は、UTD-MHAD [1]とUT-Kinect [2]データセットで95.12%、F1スコアはUCSD-MIT [3]データセットで81.52%であった。
我々はさらに,HARに関する注意機構の影響を解釈するツールを提供する,一様および多様の注意マップを可視化する。
関連論文リスト
- MuJo: Multimodal Joint Feature Space Learning for Human Activity Recognition [2.7532797256542403]
人間活動認識は、幅広い分野で応用されているAIの長年の問題である。
マルチモーダルコントラスト事前学習を用いて,HARの性能を異なるモードで向上する方法を示す。
論文 参考訳(メタデータ) (2024-06-06T08:42:36Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳(メタデータ) (2023-10-06T10:40:46Z) - UMSNet: An Universal Multi-sensor Network for Human Activity Recognition [10.952666953066542]
本稿では,人間行動認識のためのユニバーサルマルチセンサネットワーク(UMSNet)を提案する。
特に,新しい軽量センサ残差ブロック(LSRブロック)を提案する。
我々のフレームワークは明確な構造を持ち、様々な種類のマルチモーダル時系列分類タスクに直接適用することができる。
論文 参考訳(メタデータ) (2022-05-24T03:29:54Z) - A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。
提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。
私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
論文 参考訳(メタデータ) (2022-04-25T08:42:47Z) - Addressing Data Scarcity in Multimodal User State Recognition by
Combining Semi-Supervised and Supervised Learning [1.1688030627514532]
本稿では,人間とロボットの相互作用環境における解離・解離状態を検出するためのマルチモーダル機械学習手法を提案する。
我々は,少ないラベル付きデータと大きなラベル付きデータセットを用いて,デア/アグリメント検出のための平均F1スコア81.1%を達成する。
論文 参考訳(メタデータ) (2022-02-08T10:41:41Z) - Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based
Action Recognition [49.163326827954656]
骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。
2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。
3つの大規模データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2021-08-10T09:25:07Z) - What Matters in Learning from Offline Human Demonstrations for Robot
Manipulation [64.43440450794495]
ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。
我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。
人間のデータセットから学ぶ機会を強調します。
論文 参考訳(メタデータ) (2021-08-06T20:48:30Z) - PALMAR: Towards Adaptive Multi-inhabitant Activity Recognition in
Point-Cloud Technology [0.0]
我々は,効率的な信号処理と新しい機械学習技術を用いて,多人数行動認識システムであるPALMARを開発した。
筆者らは, (i) 3台のデバイス(3D LiDAR, 79GHz mmWave)で収集したリアルタイムPCDと, (ii) 3D LiDAR 活動データ (28名) と (iii) 組込みハードウェアプロトタイプシステムを用いて, フレームワークとシステムを実験的に評価した。
論文 参考訳(メタデータ) (2021-06-22T16:17:50Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - MARS: Mixed Virtual and Real Wearable Sensors for Human Activity
Recognition with Multi-Domain Deep Learning Model [21.971345137218886]
仮想IMUに基づく大規模データベースの構築を提案し,その上で,3つの技術部分からなる多分野ディープラーニングフレームワークを導入することにより,技術的問題に対処する。
まず,混成畳み込みニューラルネットワーク(CNN)を用いたノイズの多いIMUデータから,単一フレームの人間活動について半教師付き形式で学習することを提案する。
第2の部分は、不確実性を認識した一貫性の原則に従って抽出されたデータ特徴を融合する。
転送学習は、最近リリースされたArchive of Motion Capture as Surface Shapes (AMASS)データセットに基づいて、最後の部分で実行される。
論文 参考訳(メタデータ) (2020-09-20T10:35:14Z) - Searching Multi-Rate and Multi-Modal Temporal Enhanced Networks for
Gesture Recognition [89.0152015268929]
RGB-Dジェスチャ認識のための最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。
提案手法は,1)3次元中央差分畳畳み込み(3D-CDC)ファミリーによる時間的表現の強化,および多モードレート分岐と横方向接続のための最適化されたバックボーンを含む。
結果として得られたマルチレートネットワークは、RGBと深さ変調と時間力学の関係を理解するための新しい視点を提供する。
論文 参考訳(メタデータ) (2020-08-21T10:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。