論文の概要: Yet it moves: Learning from Generic Motions to Generate IMU data from YouTube videos

• arxiv url: http://arxiv.org/abs/2011.11600v1
• Date: Mon, 23 Nov 2020 18:16:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 01:08:30.262232
• Title: Yet it moves: Learning from Generic Motions to Generate IMU data from YouTube videos
• Title（参考訳）: youtubeビデオからimuデータを生成するための一般的な動きから学ぶ
• Authors: Vitor Fortes Rey, Kamalveer Kaur Garewal, Paul Lukowicz
• Abstract要約: 我々は、加速度計とジャイロ信号の両方の一般的な動きの回帰モデルをトレーニングして、合成IMUデータを生成する方法を示す。 我々は、回帰モデルにより生成されたシミュレーションデータに基づいてトレーニングされたシステムが、実センサデータに基づいてトレーニングされたシステムのF1スコアの平均の約10%に到達できることを実証した。
• 参考スコア（独自算出の注目度）: 5.008235182488304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human activity recognition (HAR) using wearable sensors has benefited much less from recent advances in Machine Learning than fields such as computer vision and natural language processing. This is to a large extent due to the lack of large scale repositories of labeled training data. In our research we aim to facilitate the use of online videos, which exists in ample quantity for most activities and are much easier to label than sensor data, to simulate labeled wearable motion sensor data. In previous work we already demonstrate some preliminary results in this direction focusing on very simple, activity specific simulation models and a single sensor modality (acceleration norm)\cite{10.1145/3341162.3345590}. In this paper we show how we can train a regression model on generic motions for both accelerometer and gyro signals and then apply it to videos of the target activities to generate synthetic IMU data (acceleration and gyro norms) that can be used to train and/or improve HAR models. We demonstrate that systems trained on simulated data generated by our regression model can come to within around 10% of the mean F1 score of a system trained on real sensor data. Furthermore we show that by either including a small amount of real sensor data for model calibration or simply leveraging the fact that (in general) we can easily generate much more simulated data from video than we can collect in terms of real sensor data the advantage of real sensor data can be eventually equalized.
• Abstract（参考訳）: ウェアラブルセンサを用いたヒューマンアクティビティ認識(HAR)は、コンピュータビジョンや自然言語処理といった分野よりも、機械学習の最近の進歩の恩恵を受けている。 ラベル付きトレーニングデータの大規模なリポジトリが不足しているため,これは極めて大きな意味を持つ。 本研究の目的は,ほとんどの活動に十分な量のオンラインビデオを使用することで,センサデータよりもラベル付けが容易で,ラベル付きウェアラブルモーションセンサデータをシミュレートすることである。 これまでの研究では、この方向の予備的な結果をすでに示しており、非常に単純で活動に特化したシミュレーションモデルと単一のセンサーモード(加速ノルム)に焦点を当てている。 本稿では、加速度計とジャイロ信号の両方の一般的な動きの回帰モデルをトレーニングし、ターゲット活動のビデオに適用して、HARモデルのトレーニングおよび/または改善に使用できる合成IMUデータ(加速度とジャイロノルム)を生成する方法について述べる。 回帰モデルによって生成されたシミュレーションデータに基づいてトレーニングされたシステムは、実際のセンサデータでトレーニングされたシステムの平均f1スコアの約10%以内に到達できることを実証する。 さらに、モデルキャリブレーションのための少量の実際のセンサデータを含むか、または(一般に)実際のセンサーデータで収集できるよりもビデオからより簡単にシミュレーションデータを生成することができるという事実を単純に活用することによって、実際のセンサーデータの利点を最終的に均等化できることを示す。

関連論文リスト

• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• Exploring Text-to-Motion Generation with Human Preference [59.28730218998923]
  本稿では,テキスト・トゥ・モーション・ジェネレーションにおける嗜好学習の探索について述べる。 テキスト・トゥ・モーション・ジェネレーションの現在の改善は、まだモーションキャプチャシステムを備えたエキスパート・ラベラーを必要とするデータセットに依存していることがわかった。 我々は、好み学習が、現在のテキスト・ツー・モーション生成モデルを大幅に改善する可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-15T04:14:42Z)
• A Plug-in Tiny AI Module for Intelligent and Selective Sensor Data Transmission [10.174575604689391]
  本稿では、インテリジェントなデータ伝送機能を備えたセンシングフレームワークを実現するための新しいセンシングモジュールを提案する。 センサの近くに置かれる高効率機械学習モデルを統合する。 このモデルは,無関係な情報を破棄しながら,貴重なデータのみを送信するセンサシステムに対して,迅速なフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-02-03T05:41:39Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Virtual Fusion with Contrastive Learning for Single Sensor-based Activity Recognition [5.225544155289783]
  各種センサはHAR(Human Activity Recognition)に使用することができる。 1つのセンサーがユーザーの動きをその視点で完全に観察できない場合があり、誤った予測を引き起こす。 トレーニング中に複数のタイム同期センサーからラベル付けされていないデータを活用できる新しい方法であるVirtual Fusionを提案する。
  論文  参考訳（メタデータ） (2023-12-01T17:03:27Z)
• Unsupervised Statistical Feature-Guided Diffusion Model for Sensor-based Human Activity Recognition [3.2319909486685354]
  ウェアラブルセンサーによる人間の活動認識の進歩を支えている重要な問題は、多様なラベル付きトレーニングデータの利用不可能である。 本研究では,ウェアラブルセンサを用いた人間行動認識に特化して最適化された,教師なしの統計的特徴誘導拡散モデルを提案する。 平均,標準偏差,Zスコア,歪などの統計情報に拡散モデルを適用し,多種多様な合成センサデータを生成する。
  論文  参考訳（メタデータ） (2023-05-30T15:12:59Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• Video2IMU: Realistic IMU features and signals from videos [0.7087237546722618]
  ウェアラブルセンサデータからのヒューマンアクティビティ認識(HAR)は、制約のない環境での動きや活動を特定する。 本稿では,人間の活動単眼映像を用いたリアルな信号や特徴の生成にニューラルネットワークを用いることを提案する。 これらの生成した特徴や信号が、実際のモデルではなく、どのようにしてHARモデルのトレーニングに利用できるかを示す。
  論文  参考訳（メタデータ） (2022-02-14T08:37:26Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• IMUTube: Automatic Extraction of Virtual on-body Accelerometry from Video for Human Activity Recognition [12.91206329972949]
  IMUTubeは、人間の活動の映像をIMUデータの仮想ストリームに変換する自動処理パイプラインである。 これらの仮想IMUストリームは、人体の様々な場所で加速度計を表現している。 本稿では,実際のIMUデータにより,既知のHARデータセット上での各種モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-29T21:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。