論文の概要: Metric-based multimodal meta-learning for human movement identification via footstep recognition

• arxiv url: http://arxiv.org/abs/2111.07979v1
• Date: Mon, 15 Nov 2021 18:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 14:52:04.079630
• Title: Metric-based multimodal meta-learning for human movement identification via footstep recognition
• Title（参考訳）: 足跡認識によるヒト運動識別のためのメトリックベースマルチモーダルメタラーニング
• Authors: Muhammad Shakeel, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
• Abstract要約: マルチモーダル・フレームワークを導入した新しいメトリック・ベース・ラーニング・アプローチについて述べる。 我々は,全方位センサシステムから得られた低感度データから汎用表現を学習する。 本研究は,マルチセンサデータに対するメトリクスに基づくコントラスト学習手法を用いて,データ不足の影響を緩和する。
• 参考スコア（独自算出の注目度）: 3.300376360949452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe a novel metric-based learning approach that introduces a multimodal framework and uses deep audio and geophone encoders in siamese configuration to design an adaptable and lightweight supervised model. This framework eliminates the need for expensive data labeling procedures and learns general-purpose representations from low multisensory data obtained from omnipresent sensing systems. These sensing systems provide numerous applications and various use cases in activity recognition tasks. Here, we intend to explore the human footstep movements from indoor environments and analyze representations from a small self-collected dataset of acoustic and vibration-based sensors. The core idea is to learn plausible similarities between two sensory traits and combining representations from audio and geophone signals. We present a generalized framework to learn embeddings from temporal and spatial features extracted from audio and geophone signals. We then extract the representations in a shared space to maximize the learning of a compatibility function between acoustic and geophone features. This, in turn, can be used effectively to carry out a classification task from the learned model, as demonstrated by assigning high similarity to the pairs with a human footstep movement and lower similarity to pairs containing no footstep movement. Performance analyses show that our proposed multimodal framework achieves a 19.99\% accuracy increase (in absolute terms) and avoided overfitting on the evaluation set when the training samples were increased from 200 pairs to just 500 pairs while satisfactorily learning the audio and geophone representations. Our results employ a metric-based contrastive learning approach for multi-sensor data to mitigate the impact of data scarcity and perform human movement identification with limited data size.
• Abstract（参考訳）: 本稿では,マルチモーダルフレームワークを導入し,シアム構成のディープオーディオおよびジオホンエンコーダを用いて適応的で軽量な教師付きモデルの設計を行う。 このフレームワークは、高価なデータラベリング手順を不要とし、全表示センシングシステムから得られた低マルチセンサーデータから汎用表現を学習する。 これらのセンシングシステムは、アクティビティ認識タスクに多くの応用と様々なユースケースを提供する。 ここでは,室内環境からの人間の歩みを探索し,音響・振動センサを用いた小さな自己収集データセットから表現を分析する。 中心となるアイデアは、2つの感覚特性の正確な類似性を学習し、オーディオとジオフォン信号からの表現を組み合わせることである。 音声やジオフォン信号から抽出した時間的特徴と空間的特徴から埋め込みを学習するための一般化されたフレームワークを提案する。 次に,共有空間における表現を抽出し,音響的特徴とジオフォン的特徴との整合性の学習を最大化する。 これにより、学習モデルからの分類タスクを効果的に行うことができ、例えば、人間の足歩運動と高い類似性をペアに割り当て、足歩運動のないペアに低い類似性を割り当てることによって示される。 性能分析の結果,提案するマルチモーダルフレームワークは(絶対的に)19.99\%の精度向上を達成し,学習サンプルを200対から500対に増やしながら,音声とジオフォンの表現を十分に学習しながら,評価セットへの過剰フィットを回避できた。 本研究は,データ不足の影響を緩和し,限られたデータサイズで人体の動きの識別を行うため,マルチセンサデータに対するメトリックベースのコントラスト学習手法を用いた。

関連論文リスト

• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• Active Learning of Ordinal Embeddings: A User Study on Football Data [4.856635699699126]
  人間は本来、未知の類似性関数を使用してラベル付けされていないデータセットのインスタンス間の距離を計測する。 この研究はディープ・メトリック・ラーニングを使用して、大規模なフットボールの軌跡データセットのアノテーションからユーザ定義の類似性関数を学習する。
  論文  参考訳（メタデータ） (2022-07-26T07:55:23Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
  特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。 合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
  論文  参考訳（メタデータ） (2022-02-04T15:46:27Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Similarity Embedding Networks for Robust Human Activity Recognition [19.162857787656247]
  我々は、入力センサ信号を、慎重に設計された畳み込み層とLSTM層を通して実ベクトルにマッピングする類似性埋め込みニューラルネットワークを設計する。 埋め込みネットワークは、ペアワイズな類似性損失でトレーニングされ、埋め込み実空間内の同じクラスからのサンプルのクラスタリングを奨励する。 2つの公開データセットに基づく広範囲な評価により、提案された類似性埋め込みネットワークは、HAR分類タスクにおける最先端のディープモデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2021-05-31T11:52:32Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Gesture Recognition from Skeleton Data for Intuitive Human-Machine Interaction [0.6875312133832077]
  本稿では,手工芸品の集合に基づく動的ジェスチャーのセグメント化と分類のためのアプローチを提案する。 ジェスチャー認識方法はスライディングウィンドウを適用し、空間次元と時間次元の両方から情報を抽出する。 最終的に、認識されたジェスチャーは、協調ロボットと対話するために使用される。
  論文  参考訳（メタデータ） (2020-08-26T11:28:50Z)
• Unsupervised Learning of Audio Perception for Robotics Applications: Learning to Project Data to T-SNE/UMAP space [2.8935588665357077]
  本論文は,接地構造データにアクセスすることなく,触覚の知覚を構築するための重要なアイデアを基礎にしている。 我々は、古典的な信号処理のアイデアを活用して、高い精度で興味のある音の大量のデータを得る方法を示す。
  論文  参考訳（メタデータ） (2020-02-10T20:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。