論文の概要: Fast and Robust Video-Based Exercise Classification via Body Pose
Tracking and Scalable Multivariate Time Series Classifiers
- arxiv url: http://arxiv.org/abs/2210.00507v1
- Date: Sun, 2 Oct 2022 13:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:14:56.515379
- Title: Fast and Robust Video-Based Exercise Classification via Body Pose
Tracking and Scalable Multivariate Time Series Classifiers
- Title（参考訳）: 身体ポーズ追跡とスケーラブルな多変量時系列分類による高速でロバストな運動分類
- Authors: Ashish Singh, Antonio Bevilacqua, Thach Le Nguyen, Feiyan Hu, Kevin
McGuinness, Martin OReilly, Darragh Whelan, Brian Caulfield, Georgiana Ifrim
- Abstract要約: 本稿では,ビデオを用いたS&C演習の分類の応用について述べる。
そこで本研究では,BodyMTSという手法を用いて,映像を時系列に変換する手法を提案する。
その結果,BodyMTSの平均精度は87%であり,これはヒトドメインの専門家の精度よりも有意に高いことがわかった。
- 参考スコア（独自算出の注目度）: 13.561233730881279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Technological advancements have spurred the usage of machine learning based
applications in sports science. Physiotherapists, sports coaches and athletes
actively look to incorporate the latest technologies in order to further
improve performance and avoid injuries. While wearable sensors are very
popular, their use is hindered by constraints on battery power and sensor
calibration, especially for use cases which require multiple sensors to be
placed on the body. Hence, there is renewed interest in video-based data
capture and analysis for sports science. In this paper, we present the
application of classifying S\&C exercises using video. We focus on the popular
Military Press exercise, where the execution is captured with a video-camera
using a mobile device, such as a mobile phone, and the goal is to classify the
execution into different types. Since video recordings need a lot of storage
and computation, this use case requires data reduction, while preserving the
classification accuracy and enabling fast prediction. To this end, we propose
an approach named BodyMTS to turn video into time series by employing body pose
tracking, followed by training and prediction using multivariate time series
classifiers. We analyze the accuracy and robustness of BodyMTS and show that it
is robust to different types of noise caused by either video quality or pose
estimation factors. We compare BodyMTS to state-of-the-art deep learning
methods which classify human activity directly from videos and show that
BodyMTS achieves similar accuracy, but with reduced running time and model
engineering effort. Finally, we discuss some of the practical aspects of
employing BodyMTS in this application in terms of accuracy and robustness under
reduced data quality and size. We show that BodyMTS achieves an average
accuracy of 87\%, which is significantly higher than the accuracy of human
domain experts.
- Abstract（参考訳）: 技術進歩は、スポーツ科学における機械学習ベースの応用を加速させた。
理学療法士、スポーツコーチ、アスリートは、パフォーマンスをさらに改善し、怪我を避けるために最新の技術を積極的に取り入れようとしている。
ウェアラブルセンサーは非常に人気があるが、バッテリ電力とセンサーのキャリブレーションに制約があるため、特に体に複数のセンサーを置く必要のあるユースケースでは使用が妨げられている。
したがって、スポーツ科学のためのビデオベースのデータキャプチャと分析への新たな関心がある。
本稿では,ビデオを用いたS&C演習の分類の応用について述べる。
我々は,携帯電話等のモバイルデバイスを用いたビデオカメラを用いて実行をキャプチャし,その実行を異なるタイプに分類することを目的とした,人気のある軍事報道活動に焦点を当てた。
ビデオ録画は大量のストレージと計算を必要とするため、このユースケースでは、分類精度を維持しつつ、高速な予測を可能にしながら、データ削減が必要となる。
そこで本研究では,BodyMTSという手法を用いて,映像を時系列に変換する手法を提案し,その後,多変量時系列分類器を用いたトレーニングと予測を行う。
そこで本研究では,BodyMTSの精度とロバスト性を分析し,映像品質やポーズ推定の要因によって生じるノイズの種類に頑健であることを示す。
そこで本研究では,BodyMTSと,映像から直接人間の活動を分類する最先端のディープラーニング手法を比較し,BodyMTSが同様の精度を達成できることを示す。
最後に,この応用におけるBodyMTSの実践的側面について,データ品質とサイズを低減した精度とロバスト性の観点から論じる。
その結果,BodyMTSの平均精度は87 %であり,これは人的領域の専門家の精度よりも有意に高いことがわかった。
関連論文リスト
- VideoRun2D: Cost-Effective Markerless Motion Capture for Sprint Biomechanics [12.12643642515884]
スプリントは、特にチームスポーツにおいて、決定的な能力である。スプリントのキネマティクスは、過去にさまざまな方法で研究されてきた。
本研究はまず, 現実的な生体力学解析に2つの一般的なトラッカーを適用し, それらを手動追跡と比較して評価する。
我々は,特にスプリントバイオメカニクスに適応したマーカーレスボディトラッカーを VideoRun2D と呼ぶ。
論文 参考訳（メタデータ） (2024-09-16T11:10:48Z) - Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳（メタデータ） (2024-04-17T16:56:31Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-12-27T22:35:33Z) - SportsSloMo: A New Benchmark and Baselines for Human-centric Video Frame
Interpolation [11.198172694893927]
SportsSloMoは、130万本以上のビデオクリップと100万フレームの高解像度(720p)のスローモーションスポーツビデオがYouTubeからクロールされたベンチマークである。
ベンチマークでいくつかの最先端手法を再学習し、その結果、他のデータセットと比較して精度が低下していることを示す。
我々は,人間の認識する先行性を考慮した2つの損失項を導入し,汎視的セグメンテーションと人間のキーポイント検出に補助的監督を加える。
論文 参考訳（メタデータ） (2023-08-31T17:23:50Z) - An Examination of Wearable Sensors and Video Data Capture for Human
Exercise Classification [9.674125829493214]
IMUの性能を実世界の2つのデータセット上での人間の運動分類のためのビデオベースアプローチと比較する。
一つのカメラをベースとしたアプローチは、平均10ポイントのIMUを上回り得る。
このアプリケーションでは、簡単に使えるスマートフォンカメラと1台のセンサーを組み合わせることで、人間の運動を効果的に分類することができる。
論文 参考訳（メタデータ） (2023-07-10T12:24:04Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳（メタデータ） (2023-05-23T07:54:37Z) - Towards Single Camera Human 3D-Kinematics [15.559206592078425]
深層ニューラルネットワークを用いたビデオから直接3次元人体動推定D3KEを提案する。
実験により,提案したエンドツーエンドトレーニングは頑健であり,2次元および3次元マーカーレスモーションキャプチャに基づく運動推定パイプラインよりも優れていた。
論文 参考訳（メタデータ） (2023-01-13T08:44:09Z) - Federated Remote Physiological Measurement with Imperfect Data [10.989271258156883]
高齢化と新型コロナウイルス(COVID-19)のパンデミックによって、遠隔医療を支える技術の必要性が高まっている。
健康関連機械学習アプリケーションでは、データがプライベートデバイスを離れることなく予測モデルを学習する能力は魅力的である。
カメラによる遠隔生理的センシングは、スケーラブルで低コストな測定を容易にする。
論文 参考訳（メタデータ） (2022-03-11T05:26:46Z) - One to Many: Adaptive Instrument Segmentation via Meta Learning and
Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。
ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。
2つのデータセットで他の最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-03-24T05:02:18Z) - Hybrid Dynamic-static Context-aware Attention Network for Action
Assessment in Long Videos [96.45804577283563]
本稿では,長期ビデオにおけるアクションアセスメントのための新しいハイブリットDynAmic-static Context-aware AttenTION NETwork(ACTION-NET)を提案する。
ビデオのダイナミックな情報を学習すると同時に,特定フレームにおける検出した選手の静的姿勢にも焦点をあてる。
2つのストリームの特徴を組み合わせることで、専門家が与えた地道的なスコアによって監督され、最終的なビデオスコアを後退させます。
論文 参考訳（メタデータ） (2020-08-13T15:51:42Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。