論文の概要: Yet it moves: Learning from Generic Motions to Generate IMU data from
YouTube videos
- arxiv url: http://arxiv.org/abs/2011.11600v1
- Date: Mon, 23 Nov 2020 18:16:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 01:08:30.262232
- Title: Yet it moves: Learning from Generic Motions to Generate IMU data from
YouTube videos
- Title(参考訳): youtubeビデオからimuデータを生成するための一般的な動きから学ぶ
- Authors: Vitor Fortes Rey, Kamalveer Kaur Garewal, Paul Lukowicz
- Abstract要約: 我々は、加速度計とジャイロ信号の両方の一般的な動きの回帰モデルをトレーニングして、合成IMUデータを生成する方法を示す。
我々は、回帰モデルにより生成されたシミュレーションデータに基づいてトレーニングされたシステムが、実センサデータに基づいてトレーニングされたシステムのF1スコアの平均の約10%に到達できることを実証した。
- 参考スコア(独自算出の注目度): 5.008235182488304
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human activity recognition (HAR) using wearable sensors has benefited much
less from recent advances in Machine Learning than fields such as computer
vision and natural language processing. This is to a large extent due to the
lack of large scale repositories of labeled training data. In our research we
aim to facilitate the use of online videos, which exists in ample quantity for
most activities and are much easier to label than sensor data, to simulate
labeled wearable motion sensor data. In previous work we already demonstrate
some preliminary results in this direction focusing on very simple, activity
specific simulation models and a single sensor modality (acceleration
norm)\cite{10.1145/3341162.3345590}. In this paper we show how we can train a
regression model on generic motions for both accelerometer and gyro signals and
then apply it to videos of the target activities to generate synthetic IMU data
(acceleration and gyro norms) that can be used to train and/or improve HAR
models. We demonstrate that systems trained on simulated data generated by our
regression model can come to within around 10% of the mean F1 score of a system
trained on real sensor data. Furthermore we show that by either including a
small amount of real sensor data for model calibration or simply leveraging the
fact that (in general) we can easily generate much more simulated data from
video than we can collect in terms of real sensor data the advantage of real
sensor data can be eventually equalized.
- Abstract(参考訳): ウェアラブルセンサを用いたヒューマンアクティビティ認識(HAR)は、コンピュータビジョンや自然言語処理といった分野よりも、機械学習の最近の進歩の恩恵を受けている。
ラベル付きトレーニングデータの大規模なリポジトリが不足しているため,これは極めて大きな意味を持つ。
本研究の目的は,ほとんどの活動に十分な量のオンラインビデオを使用することで,センサデータよりもラベル付けが容易で,ラベル付きウェアラブルモーションセンサデータをシミュレートすることである。
これまでの研究では、この方向の予備的な結果をすでに示しており、非常に単純で活動に特化したシミュレーションモデルと単一のセンサーモード(加速ノルム)に焦点を当てている。
本稿では、加速度計とジャイロ信号の両方の一般的な動きの回帰モデルをトレーニングし、ターゲット活動のビデオに適用して、HARモデルのトレーニングおよび/または改善に使用できる合成IMUデータ(加速度とジャイロノルム)を生成する方法について述べる。
回帰モデルによって生成されたシミュレーションデータに基づいてトレーニングされたシステムは、実際のセンサデータでトレーニングされたシステムの平均f1スコアの約10%以内に到達できることを実証する。
さらに、モデルキャリブレーションのための少量の実際のセンサデータを含むか、または(一般に)実際のセンサーデータで収集できるよりもビデオからより簡単にシミュレーションデータを生成することができるという事実を単純に活用することによって、実際のセンサーデータの利点を最終的に均等化できることを示す。
関連論文リスト
- A Plug-in Tiny AI Module for Intelligent and Selective Sensor Data
Transmission [10.174575604689391]
本稿では、インテリジェントなデータ伝送機能を備えたセンシングフレームワークを実現するための新しいセンシングモジュールを提案する。
センサの近くに置かれる高効率機械学習モデルを統合する。
このモデルは,無関係な情報を破棄しながら,貴重なデータのみを送信するセンサシステムに対して,迅速なフィードバックを提供する。
論文 参考訳(メタデータ) (2024-02-03T05:41:39Z) - Any-point Trajectory Modeling for Policy Learning [67.45990463611942]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳(メタデータ) (2023-12-28T23:34:43Z) - Virtual Fusion with Contrastive Learning for Single Sensor-based
Activity Recognition [5.225544155289783]
各種センサはHAR(Human Activity Recognition)に使用することができる。
1つのセンサーがユーザーの動きをその視点で完全に観察できない場合があり、誤った予測を引き起こす。
トレーニング中に複数のタイム同期センサーからラベル付けされていないデータを活用できる新しい方法であるVirtual Fusionを提案する。
論文 参考訳(メタデータ) (2023-12-01T17:03:27Z) - Convolutional Neural Networks for the classification of glitches in
gravitational-wave data streams [52.77024349608834]
我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。
どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。
また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
論文 参考訳(メタデータ) (2023-03-24T11:12:37Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳(メタデータ) (2022-09-22T13:12:54Z) - Video2IMU: Realistic IMU features and signals from videos [0.7087237546722618]
ウェアラブルセンサデータからのヒューマンアクティビティ認識(HAR)は、制約のない環境での動きや活動を特定する。
本稿では,人間の活動単眼映像を用いたリアルな信号や特徴の生成にニューラルネットワークを用いることを提案する。
これらの生成した特徴や信号が、実際のモデルではなく、どのようにしてHARモデルのトレーニングに利用できるかを示す。
論文 参考訳(メタデータ) (2022-02-14T08:37:26Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳(メタデータ) (2021-11-15T18:37:43Z) - Synthetic Data Are as Good as the Real for Association Knowledge
Learning in Multi-object Tracking [19.772968520292345]
本稿では,3次元合成データが実世界のビデオに取って代わってアソシエーショントレーニングを行うことができるかどうかを考察する。
具体的には,MOTXと呼ばれる大規模合成データエンジンを導入し,カメラや物体の運動特性を実世界のデータセットに類似するように手動で設定する。
実データと比較すると、合成データから得られた関連知識は、ドメイン適応技術なしで実世界のテストセット上で非常によく似た性能が得られることを示す。
論文 参考訳(メタデータ) (2021-06-30T14:46:36Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳(メタデータ) (2021-04-30T15:30:05Z) - Testing the Safety of Self-driving Vehicles by Simulating Perception and
Prediction [88.0416857308144]
センサシミュレーションは高価であり,領域ギャップが大きいため,センサシミュレーションに代わる方法を提案する。
我々は、自動運転車の知覚と予測システムの出力を直接シミュレートし、現実的な動き計画テストを可能にする。
論文 参考訳(メタデータ) (2020-08-13T17:20:02Z) - IMUTube: Automatic Extraction of Virtual on-body Accelerometry from
Video for Human Activity Recognition [12.91206329972949]
IMUTubeは、人間の活動の映像をIMUデータの仮想ストリームに変換する自動処理パイプラインである。
これらの仮想IMUストリームは、人体の様々な場所で加速度計を表現している。
本稿では,実際のIMUデータにより,既知のHARデータセット上での各種モデルの性能が向上することを示す。
論文 参考訳(メタデータ) (2020-05-29T21:50:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。