論文の概要: A Survey of IMU Based Cross-Modal Transfer Learning in Human Activity Recognition
- arxiv url: http://arxiv.org/abs/2403.15444v1
- Date: Sun, 17 Mar 2024 22:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 02:54:20.835912
- Title: A Survey of IMU Based Cross-Modal Transfer Learning in Human Activity Recognition
- Title(参考訳): ヒト活動認識におけるIMUを用いたクロスモーダルトランスファー学習の実態調査
- Authors: Abhi Kamboj, Minh Do,
- Abstract要約: 本研究では,HAR(Human Activity/Action Recognition)のためのモダリティ間の知識の伝達と活用について検討する。
我々は、IMUデータの重要性と可能性、およびモダリティ横断学習への適用性を動機づける。
クロスモーダルHARにおける今後の研究の方向性と応用について論じる。
- 参考スコア(独自算出の注目度): 0.9208007322096532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite living in a multi-sensory world, most AI models are limited to textual and visual understanding of human motion and behavior. In fact, full situational awareness of human motion could best be understood through a combination of sensors. In this survey we investigate how knowledge can be transferred and utilized amongst modalities for Human Activity/Action Recognition (HAR), i.e. cross-modality transfer learning. We motivate the importance and potential of IMU data and its applicability in cross-modality learning as well as the importance of studying the HAR problem. We categorize HAR related tasks by time and abstractness and then compare various types of multimodal HAR datasets. We also distinguish and expound on many related but inconsistently used terms in the literature, such as transfer learning, domain adaptation, representation learning, sensor fusion, and multimodal learning, and describe how cross-modal learning fits with all these concepts. We then review the literature in IMU-based cross-modal transfer for HAR. The two main approaches for cross-modal transfer are instance-based transfer, where instances of one modality are mapped to another (e.g. knowledge is transferred in the input space), or feature-based transfer, where the model relates the modalities in an intermediate latent space (e.g. knowledge is transferred in the feature space). Finally, we discuss future research directions and applications in cross-modal HAR.
- Abstract(参考訳): マルチ感覚の世界に生きているにもかかわらず、ほとんどのAIモデルは、人間の動きと行動のテキスト的および視覚的理解に限られている。
実際、人間の動きに対する完全な状況認識は、センサーの組み合わせで理解することができる。
本研究では,HAR(Human Activity/Action Recognition)のモダリティ,すなわち相互モダリティ伝達学習における知識の伝達と活用について検討する。
我々は,IMUデータの重要性と可能性,およびモダリティ間の学習における適用性,およびHAR問題研究の重要性を動機付けている。
我々は,HAR関連タスクを時間的・抽象的に分類し,様々なタイプのマルチモーダルHARデータセットを比較した。
また, 伝達学習, ドメイン適応, 表現学習, センサ融合, マルチモーダル学習などの文献において, 相互学習がこれらの概念にどのように適合するかを記述した。
次に、IMUを用いたHARのクロスモーダル転送の文献をレビューする。
クロスモーダルトランスファーの2つの主要なアプローチは、あるモダリティのインスタンスを別のモダリティにマッピングするインスタンスベースのトランスファー(例えば、入力空間で知識が転送される)または、中間潜在空間におけるモダリティをモデルが関連付ける機能ベースのトランスファー(例えば、特徴空間で知識が転送される)である。
最後に,クロスモーダルHARにおける今後の研究の方向性と応用について論じる。
関連論文リスト
- A Survey on Multimodal Wearable Sensor-based Human Action Recognition [15.054052500762559]
WSHAR(Wearable Sensor-based Human Activity Recognition)は、高齢者の日常生活を支援するための有望な補助技術である。
WSHARの最近の調査は、ディープラーニングアプローチのみに焦点を絞ったものや、単一センサーのモダリティに焦点が当てられている。
本研究では,新参者や研究者を対象に,マルチモーダル学習をWSHARドメインに活用するための総合的な調査を行う。
論文 参考訳(メタデータ) (2024-04-14T18:43:16Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Cross-Domain HAR: Few Shot Transfer Learning for Human Activity
Recognition [0.2944538605197902]
本稿では,HARデータセットを有効な転送学習に利用するための経済的なアプローチを提案する。
本稿では,教師が学習する自己学習パラダイムに則って,新たな伝達学習フレームワークであるクロスドメインHARを紹介する。
本手法の有効性を,撮影活動認識のシナリオで実証する。
論文 参考訳(メタデータ) (2023-10-22T19:13:25Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity
Recognition [34.424960016807795]
マルチモーダルなヒューマンアクティビティ認識は、補完的な情報を利用して、うまく一般化できるモデルを構築することができる。
深層学習法は有望な結果を示しており,有意な多モーダルな時空間特徴抽出の可能性は十分に検討されていない。
知識蒸留に基づくマルチモーダル・ミッドフュージョン・アプローチ(DMFT)を提案し,多モーダル・ヒューマンアクティビティ認識タスクを効率的に解決するために,情報的特徴抽出と融合を行う。
論文 参考訳(メタデータ) (2023-05-05T19:26:06Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [71.07658443380264]
様々なモダリティのデータを組み込んだマルチモーダル機械学習は、ますます人気のある研究分野になりつつある。
我々は、視覚、音声、テキストなど、各データフォーマットの共通点と特異点を分析し、Vision+Xの組み合わせによって分類された技術開発を提示する。
論文 参考訳(メタデータ) (2022-10-05T13:14:57Z) - Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal
Human Activity Recognition [1.869225486385596]
複数のモダリティを活用することによって、より良い認識がもたらされるという仮説を探求する。
我々は、近年、人間活動認識の課題に対して、多くの対照的な自己監督的アプローチを拡張している。
マルチモーダルな自己教師型学習を実現するための,フレキシブルで汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-20T10:39:16Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳(メタデータ) (2022-03-02T18:56:20Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2020-10-27T13:17:18Z) - Uncovering the Connections Between Adversarial Transferability and
Knowledge Transferability [27.65302656389911]
我々は,知識伝達可能性と敵対的伝達可能性の関連性を分析し,実証する。
我々の理論的研究は、対向移動可能性は知識伝達可能性を示し、その逆であることを示している。
多様なデータセットの様々なシナリオに対する広範な実験を行い、対向移動可能性と知識伝達可能性との正の相関を示す。
論文 参考訳(メタデータ) (2020-06-25T16:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。