論文の概要: A Survey on Multimodal Wearable Sensor-based Human Action Recognition
- arxiv url: http://arxiv.org/abs/2404.15349v1
- Date: Sun, 14 Apr 2024 18:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-28 10:46:58.093613
- Title: A Survey on Multimodal Wearable Sensor-based Human Action Recognition
- Title（参考訳）: マルチモーダルウェアラブルセンサを用いた人間行動認識に関する研究
- Authors: Jianyuan Ni, Hao Tang, Syed Tousiful Haque, Yan Yan, Anne H. H. Ngu,
- Abstract要約: WSHAR(Wearable Sensor-based Human Activity Recognition)は、高齢者の日常生活を支援するための有望な補助技術である。
WSHARの最近の調査は、ディープラーニングアプローチのみに焦点を絞ったものや、単一センサーのモダリティに焦点が当てられている。
本研究では,新参者や研究者を対象に,マルチモーダル学習をWSHARドメインに活用するための総合的な調査を行う。
- 参考スコア（独自算出の注目度）: 15.054052500762559
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The combination of increased life expectancy and falling birth rates is resulting in an aging population. Wearable Sensor-based Human Activity Recognition (WSHAR) emerges as a promising assistive technology to support the daily lives of older individuals, unlocking vast potential for human-centric applications. However, recent surveys in WSHAR have been limited, focusing either solely on deep learning approaches or on a single sensor modality. In real life, our human interact with the world in a multi-sensory way, where diverse information sources are intricately processed and interpreted to accomplish a complex and unified sensing system. To give machines similar intelligence, multimodal machine learning, which merges data from various sources, has become a popular research area with recent advancements. In this study, we present a comprehensive survey from a novel perspective on how to leverage multimodal learning to WSHAR domain for newcomers and researchers. We begin by presenting the recent sensor modalities as well as deep learning approaches in HAR. Subsequently, we explore the techniques used in present multimodal systems for WSHAR. This includes inter-multimodal systems which utilize sensor modalities from both visual and non-visual systems and intra-multimodal systems that simply take modalities from non-visual systems. After that, we focus on current multimodal learning approaches that have applied to solve some of the challenges existing in WSHAR. Specifically, we make extra efforts by connecting the existing multimodal literature from other domains, such as computer vision and natural language processing, with current WSHAR area. Finally, we identify the corresponding challenges and potential research direction in current WSHAR area for further improvement.
- Abstract（参考訳）: 寿命の増加と出生率の低下が、高齢化に繋がる。
WSHAR(Wearable Sensor-based Human Activity Recognition)は、高齢者の日常生活を支援するための有望な補助技術として登場し、人間中心のアプリケーションにとって大きな可能性を秘めている。
しかし、最近のWSHARの調査は、ディープラーニングアプローチのみに焦点を絞ったものや、単一センサーのモダリティに焦点が当てられている。
実生活では、人間は多感覚で世界と対話し、多様な情報ソースが複雑に処理され、複雑な統合された知覚システムを達成するために解釈される。
マシンに類似したインテリジェンスを与えるため、様々なソースからデータをマージするマルチモーダル機械学習は、近年の進歩と共に人気のある研究領域となっている。
本研究では,新参者や研究者を対象としたマルチモーダル学習をWSHARドメインに活用するための新しい視点から,包括的調査を行う。
本研究は,HARにおける最近のセンサ・モダリティと深層学習アプローチから始める。
その後、WSHARのマルチモーダルシステムで使用される技術について検討する。
これには、視覚系と非視覚系の両方からセンサーモダリティを利用するマルチモーダル間システムと、視覚系と非視覚系の両方から単にモダリティを取るマルチモーダル内システムが含まれる。
その後、我々は、WSHARに存在するいくつかの課題を解決するために応用された、現在のマルチモーダル学習アプローチに注目した。
具体的には、コンピュータビジョンや自然言語処理など、既存のマルチモーダル文献を現在のWSHAR領域に接続することで、さらなる努力を行う。
最後に,現在のWSHAR領域における課題と今後の研究方向性を明らかにし,さらなる改善を図っている。
関連論文リスト
- A Comprehensive Methodological Survey of Human Activity Recognition Across Divers Data Modalities [2.916558661202724]
人間活動認識(HAR)システムは、人間の行動を理解し、それぞれの行動にラベルを割り当てることを目的としている。
HARは、RGB画像やビデオ、スケルトン、深度、赤外線、ポイントクラウド、イベントストリーム、オーディオ、アクセラレーション、レーダー信号など、さまざまなデータモダリティを利用することができる。
本稿は,2014年から2024年までのHARの最新の進歩に関する包括的調査である。
論文 参考訳（メタデータ） (2024-09-15T10:04:44Z) - SoK: Behind the Accuracy of Complex Human Activity Recognition Using Deep Learning [4.580983642743026]
HAR(Human Activity Recognition)は1980年代にさかのぼる研究分野である。
本稿では,データバージョニングやモデルキャパシティといった複雑なHARの不正確性につながる要因を包括的に体系化する。
論文 参考訳（メタデータ） (2024-04-25T10:07:56Z) - Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models [52.24001776263608]
この包括的調査は、HSモデレーションの最近の歩みを掘り下げている。
大型言語モデル(LLM)と大規模マルチモーダルモデル(LMM)の急成長する役割を強調した。
研究における既存のギャップを、特に表現不足言語や文化の文脈で特定する。
論文 参考訳（メタデータ） (2024-01-30T03:51:44Z) - MultiIoT: Benchmarking Machine Learning for the Internet of Things [70.74131118309967]
次世代の機械学習システムは、物理的世界に対する知覚と相互作用に長けなければならない。
運動、熱、位置情報、深度、無線信号、ビデオ、オーディオからの知覚データは、物理環境の状態をモデル化するためにますます使われています。
既存の取り組みは、しばしば単一の感覚的モダリティまたは予測タスクに特化している。
本稿は、12のモダリティと8つの現実世界タスクから115万以上のサンプルを含む、これまでで最も拡張的で統一されたIoTベンチマークであるMultiIoTを提案する。
論文 参考訳（メタデータ） (2023-11-10T18:13:08Z) - Overview of Human Activity Recognition Using Sensor Data [4.941233729756897]
ヒューマンアクティビティ認識(HAR)は、ホームや職場の自動化、セキュリティ、監視、医療など、さまざまな用途で使用されている。
センサベースHARの概要を概説し、HARに依存したいくつかの重要な応用について論じ、HARで使われている最も一般的な機械学習手法を強調した。
HARの堅牢性をさらに向上するために、HARのいくつかの課題について検討する。
論文 参考訳（メタデータ） (2023-09-12T10:37:42Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z) - Foundations and Recent Trends in Multimodal Machine Learning:
Principles, Challenges, and Open Questions [68.6358773622615]
本稿では,マルチモーダル機械学習の計算的基礎と理論的基礎について概説する。
本稿では,表現,アライメント,推論,生成,伝達,定量化という,6つの技術課題の分類法を提案する。
最近の技術的成果は、この分類のレンズを通して示され、研究者は新しいアプローチの類似点と相違点を理解することができる。
論文 参考訳（メタデータ） (2022-09-07T19:21:19Z) - Lifelong Adaptive Machine Learning for Sensor-based Human Activity
Recognition Using Prototypical Networks [0.0]
連続学習は、生涯学習としても知られ、機械学習分野への関心が高まりつつある研究トピックである。
我々は,連続機械学習の分野における最近の進歩を基盤に,プロトタイプネットワーク(LPPNet-HAR)を用いた生涯適応型学習フレームワークを設計する。
LAPNet-HARは、タスクフリーなデータインクリメンタルな方法でセンサベースのデータストリームを処理する。
論文 参考訳（メタデータ） (2022-03-11T00:57:29Z) - Human Activity Recognition Using Tools of Convolutional Neural Networks:
A State of the Art Review, Data Sets, Challenges and Future Prospects [7.275302131211702]
このレビューでは、人間の活動認識のための畳み込みニューラルネットワーク(CNN)という、幅広いディープニューラルネットワークアーキテクチャに基づく最近の研究を要約する。
レビューされたシステムは、マルチモーダルセンシングデバイス、スマートフォン、レーダー、ビジョンデバイスなどの入力デバイスの使用によって、4つのカテゴリに分類される。
論文 参考訳（メタデータ） (2022-02-02T18:52:13Z) - Families In Wild Multimedia: A Multimodal Database for Recognizing
Kinship [63.27052967981546]
マルチタスク MM キンシップデータセットを初めて公開する。
FIW MMを構築するために,データを自動収集,注釈付け,作成する機構を開発した。
結果は、改善の異なる領域で将来の研究を刺激するエッジケースを強調します。
論文 参考訳（メタデータ） (2020-07-28T22:36:57Z) - Deep Learning for Sensor-based Human Activity Recognition: Overview,
Challenges and Opportunities [52.59080024266596]
本稿では,センサを用いた人間の活動認識のための最先端のディープラーニング手法について調査する。
まず、官能データのマルチモーダリティを導入し、公開データセットに情報を提供する。
次に、課題によって深層メソッドを構築するための新しい分類法を提案する。
論文 参考訳（メタデータ） (2020-01-21T09:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。