論文の概要: Progressive Cross-modal Knowledge Distillation for Human Action Recognition

• arxiv url: http://arxiv.org/abs/2208.08090v1
• Date: Wed, 17 Aug 2022 06:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 13:13:49.444168
• Title: Progressive Cross-modal Knowledge Distillation for Human Action Recognition
• Title（参考訳）: プログレッシブクロスモーダル知識蒸留による人間行動認識
• Authors: Jianyuan Ni, Anne H.H. Ngu, Yan Yan
• Abstract要約: 本稿では,ウェアラブルセンサを用いたHAR問題を解決するための,新しいプログレッシブ・骨格-センサ間知識蒸留(PSKD)モデルを提案する。 具体的には,教師(人間の骨格配列)と学生(時系列加速度計データ)の両方のデータを用いて,複数の教師モデルを構築した。
• 参考スコア（独自算出の注目度）: 10.269019492921306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wearable sensor-based Human Action Recognition (HAR) has achieved remarkable success recently. However, the accuracy performance of wearable sensor-based HAR is still far behind the ones from the visual modalities-based system (i.e., RGB video, skeleton, and depth). Diverse input modalities can provide complementary cues and thus improve the accuracy performance of HAR, but how to take advantage of multi-modal data on wearable sensor-based HAR has rarely been explored. Currently, wearable devices, i.e., smartwatches, can only capture limited kinds of non-visual modality data. This hinders the multi-modal HAR association as it is unable to simultaneously use both visual and non-visual modality data. Another major challenge lies in how to efficiently utilize multimodal data on wearable devices with their limited computation resources. In this work, we propose a novel Progressive Skeleton-to-sensor Knowledge Distillation (PSKD) model which utilizes only time-series data, i.e., accelerometer data, from a smartwatch for solving the wearable sensor-based HAR problem. Specifically, we construct multiple teacher models using data from both teacher (human skeleton sequence) and student (time-series accelerometer data) modalities. In addition, we propose an effective progressive learning scheme to eliminate the performance gap between teacher and student models. We also designed a novel loss function called Adaptive-Confidence Semantic (ACS), to allow the student model to adaptively select either one of the teacher models or the ground-truth label it needs to mimic. To demonstrate the effectiveness of our proposed PSKD method, we conduct extensive experiments on Berkeley-MHAD, UTD-MHAD, and MMAct datasets. The results confirm that the proposed PSKD method has competitive performance compared to the previous mono sensor-based HAR methods.
• Abstract（参考訳）: ウェアラブルセンサベースのヒューマンアクション認識(har)は近年、大きな成功を収めている。 しかし、ウェアラブルセンサーベースのHARの精度は、視覚的モダリティベースのシステム(RGBビデオ、スケルトン、深さなど)にはまだ及ばない。 多様な入力モダリティは相補的な手がかりを提供することができ、したがってHARの精度を向上させることができるが、ウェアラブルセンサベースのHARのマルチモーダルデータを利用する方法はほとんど研究されていない。 現在、ウェアラブルデバイス、すなわちスマートウォッチは、限られた種類の非視覚モダリティデータしかキャプチャできない。 これは、視覚的および非視覚的モダリティデータの両方を同時に使用できないため、マルチモーダルHARアソシエーションを妨げる。 もうひとつの大きな課題は、限られた計算リソースでウェアラブルデバイス上のマルチモーダルデータを効率的に活用する方法だ。 本研究では,ウェアラブルセンサを用いたHAR問題を解決するためのスマートウォッチから,時系列データ,すなわち加速度センサデータのみを利用する新しいプログレッシブ・骨格-感覚知識蒸留(PSKD)モデルを提案する。 具体的には,教師(人間の骨格配列)と学生(時系列加速度計データ)の両方のデータを用いて,複数の教師モデルを構築した。 また,教師と生徒のモデル間のパフォーマンスギャップを解消する効果的なプログレッシブ・ラーニング手法を提案する。 また,適応信頼セマンティック(ACS:Adaptive-Confidence Semantic)と呼ばれる新しい損失関数を設計し,学生モデルに対して,模擬が必要な教師モデルまたは地上構造ラベルのいずれかを適応的に選択できるようにする。 提案手法の有効性を実証するため, バークレー・MHAD, UTD-MHAD, MMActデータセットについて広範な実験を行った。 その結果,PSKD法は従来のモノセンサを用いたHAR法と比較して競合性能が高いことを確認した。

関連論文リスト

• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Efficient Adaptive Human-Object Interaction Detection with Concept-guided Memory [64.11870454160614]
  概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。 ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。 提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
  論文  参考訳（メタデータ） (2023-09-07T13:10:06Z)
• Human Activity Recognition Using Self-Supervised Representations of Wearable Data [0.0]
  HAR(Human Activity Recognition)のための正確なアルゴリズムの開発は、大規模な実世界のラベル付きデータセットの欠如によって妨げられている。 ここでは、トレーニング中に見えない実世界のデータセットで評価した場合、高い性能を有する6クラスHARモデルを開発する。
  論文  参考訳（メタデータ） (2023-04-26T07:33:54Z)
• Multi-Stage Based Feature Fusion of Multi-Modal Data for Human Activity Recognition [6.0306313759213275]
  本稿では,RGBビデオとIMUセンサの機能を効果的に組み合わせたマルチモーダルフレームワークを提案する。 最初の段階では,各入力エンコーダが特徴を効果的に抽出することを学ぶ。 ビデオのみに比べて22%,11%,MMActデータセットでは20%,12%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2022-11-08T15:48:44Z)
• DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness [78.98998551326812]
  従来の手法では、データの時系列ダイナミクスと、異なるセンサーの特徴の関連性の両方をめったに利用していない、と我々は主張する。 我々はDynImpと呼ばれるモデルを提案し、特徴軸に沿って近接する隣人と異なる時間点の欠如を扱う。 本手法は, 関連センサのマルチモーダル性特性を活かし, 履歴時系列のダイナミックスから学習し, 極端に欠落した状態でデータを再構築することができることを示す。
  論文  参考訳（メタデータ） (2022-09-26T21:59:14Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Deep Transfer Learning with Graph Neural Network for Sensor-Based Human Activity Recognition [12.51766929898714]
  我々は,センサに基づくHARタスクに対して,グラフに着想を得たディープラーニングアプローチを考案した。 本稿では,センサベースHARタスクに対するグラフ畳み込みニューラルネットワーク(ResGCNN)の多層構造について述べる。 PAMAP2およびmHealthデータセットの実験結果から,我々のResGCNNは行動の特徴を捉えるのに有効であることが示された。
  論文  参考訳（メタデータ） (2022-03-14T07:57:32Z)
• Cross-modal Knowledge Distillation for Vision-to-Sensor Action Recognition [12.682984063354748]
  本研究では、VSKDフレームワークをエンドツーエンドで導入する。 このVSKDフレームワークでは、テストフェーズ中にウェアラブルデバイスから必要となるのは時系列データ(加速度計データ)のみである。 このフレームワークは、エッジデバイスに対する計算要求を減らすだけでなく、計算コストのかかるマルチモーダルアプローチのパフォーマンスと密に一致した学習モデルも生成する。
  論文  参考訳（メタデータ） (2021-10-08T15:06:38Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• A Deep Learning Method for Complex Human Activity Recognition Using Virtual Wearable Sensors [22.923108537119685]
  センサに基づくヒューマンアクティビティ認識(HAR)は、現在、複数のアプリケーション領域で研究ホットスポットとなっている。 本研究では,実シーンにおける複雑なHARの深層学習に基づく新しい手法を提案する。 提案手法は驚くほど数イテレーションで収束し、実際のIMUデータセット上で91.15%の精度が得られる。
  論文  参考訳（メタデータ） (2020-03-04T03:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。