論文の概要: A Survey of IMU Based Cross-Modal Transfer Learning in Human Activity Recognition
- arxiv url: http://arxiv.org/abs/2403.15444v1
- Date: Sun, 17 Mar 2024 22:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 02:54:20.835912
- Title: A Survey of IMU Based Cross-Modal Transfer Learning in Human Activity Recognition
- Title（参考訳）: ヒト活動認識におけるIMUを用いたクロスモーダルトランスファー学習の実態調査
- Authors: Abhi Kamboj, Minh Do,
- Abstract要約: 本研究では,HAR(Human Activity/Action Recognition)のためのモダリティ間の知識の伝達と活用について検討する。
我々は、IMUデータの重要性と可能性、およびモダリティ横断学習への適用性を動機づける。
クロスモーダルHARにおける今後の研究の方向性と応用について論じる。
- 参考スコア（独自算出の注目度）: 0.9208007322096532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite living in a multi-sensory world, most AI models are limited to textual and visual understanding of human motion and behavior. In fact, full situational awareness of human motion could best be understood through a combination of sensors. In this survey we investigate how knowledge can be transferred and utilized amongst modalities for Human Activity/Action Recognition (HAR), i.e. cross-modality transfer learning. We motivate the importance and potential of IMU data and its applicability in cross-modality learning as well as the importance of studying the HAR problem. We categorize HAR related tasks by time and abstractness and then compare various types of multimodal HAR datasets. We also distinguish and expound on many related but inconsistently used terms in the literature, such as transfer learning, domain adaptation, representation learning, sensor fusion, and multimodal learning, and describe how cross-modal learning fits with all these concepts. We then review the literature in IMU-based cross-modal transfer for HAR. The two main approaches for cross-modal transfer are instance-based transfer, where instances of one modality are mapped to another (e.g. knowledge is transferred in the input space), or feature-based transfer, where the model relates the modalities in an intermediate latent space (e.g. knowledge is transferred in the feature space). Finally, we discuss future research directions and applications in cross-modal HAR.
- Abstract（参考訳）: マルチ感覚の世界に生きているにもかかわらず、ほとんどのAIモデルは、人間の動きと行動のテキスト的および視覚的理解に限られている。
実際、人間の動きに対する完全な状況認識は、センサーの組み合わせで理解することができる。
本研究では,HAR(Human Activity/Action Recognition)のモダリティ,すなわち相互モダリティ伝達学習における知識の伝達と活用について検討する。
我々は,IMUデータの重要性と可能性,およびモダリティ間の学習における適用性,およびHAR問題研究の重要性を動機付けている。
我々は,HAR関連タスクを時間的・抽象的に分類し,様々なタイプのマルチモーダルHARデータセットを比較した。
また, 伝達学習, ドメイン適応, 表現学習, センサ融合, マルチモーダル学習などの文献において, 相互学習がこれらの概念にどのように適合するかを記述した。
次に、IMUを用いたHARのクロスモーダル転送の文献をレビューする。
クロスモーダルトランスファーの2つの主要なアプローチは、あるモダリティのインスタンスを別のモダリティにマッピングするインスタンスベースのトランスファー(例えば、入力空間で知識が転送される)または、中間潜在空間におけるモダリティをモデルが関連付ける機能ベースのトランスファー(例えば、特徴空間で知識が転送される)である。
最後に,クロスモーダルHARにおける今後の研究の方向性と応用について論じる。
関連論文リスト
- A Comprehensive Methodological Survey of Human Activity Recognition Across Divers Data Modalities [2.916558661202724]
人間活動認識(HAR)システムは、人間の行動を理解し、それぞれの行動にラベルを割り当てることを目的としている。
HARは、RGB画像やビデオ、スケルトン、深度、赤外線、ポイントクラウド、イベントストリーム、オーディオ、アクセラレーション、レーダー信号など、さまざまなデータモダリティを利用することができる。
本稿は,2014年から2024年までのHARの最新の進歩に関する包括的調査である。
論文 参考訳（メタデータ） (2024-09-15T10:04:44Z) - Unified Framework with Consistency across Modalities for Human Activity Recognition [14.639249548669756]
本稿では,ロバストな映像に基づく人間行動認識のための包括的枠組みを提案する。
主な貢献はComputerと呼ばれる新しいクエリマシンの導入である。
提案手法は,最先端手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-04T02:25:10Z) - A Survey on Multimodal Wearable Sensor-based Human Action Recognition [15.054052500762559]
WSHAR(Wearable Sensor-based Human Activity Recognition)は、高齢者の日常生活を支援するための有望な補助技術である。
WSHARの最近の調査は、ディープラーニングアプローチのみに焦点を絞ったものや、単一センサーのモダリティに焦点が当てられている。
本研究では,新参者や研究者を対象に,マルチモーダル学習をWSHARドメインに活用するための総合的な調査を行う。
論文 参考訳（メタデータ） (2024-04-14T18:43:16Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳（メタデータ） (2023-11-17T18:57:40Z) - Cross-Domain HAR: Few Shot Transfer Learning for Human Activity
Recognition [0.2944538605197902]
本稿では,HARデータセットを有効な転送学習に利用するための経済的なアプローチを提案する。
本稿では,教師が学習する自己学習パラダイムに則って,新たな伝達学習フレームワークであるクロスドメインHARを紹介する。
本手法の有効性を,撮影活動認識のシナリオで実証する。
論文 参考訳（メタデータ） (2023-10-22T19:13:25Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳（メタデータ） (2022-03-02T18:56:20Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-27T13:17:18Z) - Uncovering the Connections Between Adversarial Transferability and
Knowledge Transferability [27.65302656389911]
我々は,知識伝達可能性と敵対的伝達可能性の関連性を分析し,実証する。
我々の理論的研究は、対向移動可能性は知識伝達可能性を示し、その逆であることを示している。
多様なデータセットの様々なシナリオに対する広範な実験を行い、対向移動可能性と知識伝達可能性との正の相関を示す。
論文 参考訳（メタデータ） (2020-06-25T16:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。