論文の概要: A Survey on Multimodal Wearable Sensor-based Human Action Recognition
- arxiv url: http://arxiv.org/abs/2404.15349v1
- Date: Sun, 14 Apr 2024 18:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-28 10:46:58.093613
- Title: A Survey on Multimodal Wearable Sensor-based Human Action Recognition
- Title(参考訳): マルチモーダルウェアラブルセンサを用いた人間行動認識に関する研究
- Authors: Jianyuan Ni, Hao Tang, Syed Tousiful Haque, Yan Yan, Anne H. H. Ngu,
- Abstract要約: WSHAR(Wearable Sensor-based Human Activity Recognition)は、高齢者の日常生活を支援するための有望な補助技術である。
WSHARの最近の調査は、ディープラーニングアプローチのみに焦点を絞ったものや、単一センサーのモダリティに焦点が当てられている。
本研究では,新参者や研究者を対象に,マルチモーダル学習をWSHARドメインに活用するための総合的な調査を行う。
- 参考スコア(独自算出の注目度): 15.054052500762559
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The combination of increased life expectancy and falling birth rates is resulting in an aging population. Wearable Sensor-based Human Activity Recognition (WSHAR) emerges as a promising assistive technology to support the daily lives of older individuals, unlocking vast potential for human-centric applications. However, recent surveys in WSHAR have been limited, focusing either solely on deep learning approaches or on a single sensor modality. In real life, our human interact with the world in a multi-sensory way, where diverse information sources are intricately processed and interpreted to accomplish a complex and unified sensing system. To give machines similar intelligence, multimodal machine learning, which merges data from various sources, has become a popular research area with recent advancements. In this study, we present a comprehensive survey from a novel perspective on how to leverage multimodal learning to WSHAR domain for newcomers and researchers. We begin by presenting the recent sensor modalities as well as deep learning approaches in HAR. Subsequently, we explore the techniques used in present multimodal systems for WSHAR. This includes inter-multimodal systems which utilize sensor modalities from both visual and non-visual systems and intra-multimodal systems that simply take modalities from non-visual systems. After that, we focus on current multimodal learning approaches that have applied to solve some of the challenges existing in WSHAR. Specifically, we make extra efforts by connecting the existing multimodal literature from other domains, such as computer vision and natural language processing, with current WSHAR area. Finally, we identify the corresponding challenges and potential research direction in current WSHAR area for further improvement.
- Abstract(参考訳): 寿命の増加と出生率の低下が、高齢化に繋がる。
WSHAR(Wearable Sensor-based Human Activity Recognition)は、高齢者の日常生活を支援するための有望な補助技術として登場し、人間中心のアプリケーションにとって大きな可能性を秘めている。
しかし、最近のWSHARの調査は、ディープラーニングアプローチのみに焦点を絞ったものや、単一センサーのモダリティに焦点が当てられている。
実生活では、人間は多感覚で世界と対話し、多様な情報ソースが複雑に処理され、複雑な統合された知覚システムを達成するために解釈される。
マシンに類似したインテリジェンスを与えるため、様々なソースからデータをマージするマルチモーダル機械学習は、近年の進歩と共に人気のある研究領域となっている。
本研究では,新参者や研究者を対象としたマルチモーダル学習をWSHARドメインに活用するための新しい視点から,包括的調査を行う。
本研究は,HARにおける最近のセンサ・モダリティと深層学習アプローチから始める。
その後、WSHARのマルチモーダルシステムで使用される技術について検討する。
これには、視覚系と非視覚系の両方からセンサーモダリティを利用するマルチモーダル間システムと、視覚系と非視覚系の両方から単にモダリティを取るマルチモーダル内システムが含まれる。
その後、我々は、WSHARに存在するいくつかの課題を解決するために応用された、現在のマルチモーダル学習アプローチに注目した。
具体的には、コンピュータビジョンや自然言語処理など、既存のマルチモーダル文献を現在のWSHAR領域に接続することで、さらなる努力を行う。
最後に,現在のWSHAR領域における課題と今後の研究方向性を明らかにし,さらなる改善を図っている。
関連論文リスト
- Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳(メタデータ) (2024-04-25T17:59:41Z) - SoK: Behind the Accuracy of Complex Human Activity Recognition Using Deep Learning [4.580983642743026]
HAR(Human Activity Recognition)は1980年代にさかのぼる研究分野である。
本稿では,データバージョニングやモデルキャパシティといった複雑なHARの不正確性につながる要因を包括的に体系化する。
論文 参考訳(メタデータ) (2024-04-25T10:07:56Z) - Overview of Human Activity Recognition Using Sensor Data [4.941233729756897]
ヒューマンアクティビティ認識(HAR)は、ホームや職場の自動化、セキュリティ、監視、医療など、さまざまな用途で使用されている。
センサベースHARの概要を概説し、HARに依存したいくつかの重要な応用について論じ、HARで使われている最も一般的な機械学習手法を強調した。
HARの堅牢性をさらに向上するために、HARのいくつかの課題について検討する。
論文 参考訳(メタデータ) (2023-09-12T10:37:42Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [71.07658443380264]
様々なモダリティのデータを組み込んだマルチモーダル機械学習は、ますます人気のある研究分野になりつつある。
我々は、視覚、音声、テキストなど、各データフォーマットの共通点と特異点を分析し、Vision+Xの組み合わせによって分類された技術開発を提示する。
論文 参考訳(メタデータ) (2022-10-05T13:14:57Z) - Foundations and Recent Trends in Multimodal Machine Learning:
Principles, Challenges, and Open Questions [68.6358773622615]
本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。
本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。
最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
論文 参考訳(メタデータ) (2022-09-07T19:21:19Z) - Lifelong Adaptive Machine Learning for Sensor-based Human Activity
Recognition Using Prototypical Networks [0.0]
連続学習は、生涯学習としても知られ、機械学習分野への関心が高まりつつある研究トピックである。
我々は,連続機械学習の分野における最近の進歩を基盤に,プロトタイプネットワーク(LPPNet-HAR)を用いた生涯適応型学習フレームワークを設計する。
LAPNet-HARは、タスクフリーなデータインクリメンタルな方法でセンサベースのデータストリームを処理する。
論文 参考訳(メタデータ) (2022-03-11T00:57:29Z) - Human Activity Recognition Using Tools of Convolutional Neural Networks:
A State of the Art Review, Data Sets, Challenges and Future Prospects [7.275302131211702]
このレビューでは、人間の活動認識のための畳み込みニューラルネットワーク(CNN)という、幅広いディープニューラルネットワークアーキテクチャに基づく最近の研究を要約する。
レビューされたシステムは、マルチモーダルセンシングデバイス、スマートフォン、レーダー、ビジョンデバイスなどの入力デバイスの使用によって、4つのカテゴリに分類される。
論文 参考訳(メタデータ) (2022-02-02T18:52:13Z) - Single-Modal Entropy based Active Learning for Visual Question Answering [75.1682163844354]
視覚質問応答(VQA)のマルチモーダル設定におけるアクティブラーニングに対処する
マルチモーダルな入力,画像,質問を考慮し,有効サンプル取得のための新しい手法を提案する。
私たちの新しいアイデアは、実装が簡単で、コスト効率が高く、他のマルチモーダルタスクにも容易に適応できます。
論文 参考訳(メタデータ) (2021-10-21T05:38:45Z) - Human Action Recognition from Various Data Modalities: A Review [37.07491839026713]
人間の行動認識(HAR)は、人間の行動を理解し、各行動にラベルを割り当てることを目指しています。
HARには幅広い用途があり、コンピュータビジョンの分野で注目を集めています。
本稿では,入力データモダリティ型に基づくHARの深層学習手法の最近の進歩について考察する。
論文 参考訳(メタデータ) (2020-12-22T07:37:43Z) - Families In Wild Multimedia: A Multimodal Database for Recognizing
Kinship [63.27052967981546]
マルチタスク MM キンシップデータセットを初めて公開する。
FIW MMを構築するために,データを自動収集,注釈付け,作成する機構を開発した。
結果は、改善の異なる領域で将来の研究を刺激するエッジケースを強調します。
論文 参考訳(メタデータ) (2020-07-28T22:36:57Z) - Deep Learning for Sensor-based Human Activity Recognition: Overview,
Challenges and Opportunities [52.59080024266596]
本稿では,センサを用いた人間の活動認識のための最先端のディープラーニング手法について調査する。
まず、官能データのマルチモーダリティを導入し、公開データセットに情報を提供する。
次に、課題によって深層メソッドを構築するための新しい分類法を提案する。
論文 参考訳(メタデータ) (2020-01-21T09:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。