論文の概要: MuscleMap: Towards Video-based Activated Muscle Group Estimation in the
Wild
- arxiv url: http://arxiv.org/abs/2303.00952v3
- Date: Sat, 23 Dec 2023 12:34:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-28 02:11:16.466985
- Title: MuscleMap: Towards Video-based Activated Muscle Group Estimation in the
Wild
- Title(参考訳): muscleMap: 野生におけるビデオベースの活性化筋群推定を目指して
- Authors: Kunyu Peng, David Schneider, Alina Roitberg, Kailun Yang, Jiaming
Zhang, Chen Deng, Kaiyu Zhang, M. Saquib Sarfraz, Rainer Stiefelhagen
- Abstract要約: 本稿では,ビデオによる活動筋群推定(AMGE)の新しい課題に取り組む。
我々は135の異なる活動と20のラベル付き筋群を持つ15Kビデオクリップを特徴とする筋マップデータセットを提供する。
このデータセットはYouTubeのビデオで構築されており、特にハイインテンシティ・インターバルトレーニング(HIIT)をターゲットとしている。
- 参考スコア(独自算出の注目度): 46.38621663288131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we tackle the new task of video-based Activated Muscle Group
Estimation (AMGE) aiming at identifying active muscle regions during physical
activity in the wild. To this intent, we provide the MuscleMap dataset
featuring >15K video clips with 135 different activities and 20 labeled muscle
groups. This dataset opens the vistas to multiple video-based applications in
sports and rehabilitation medicine under flexible environment constraints. The
proposed MuscleMap dataset is constructed with YouTube videos, specifically
targeting High-Intensity Interval Training (HIIT) physical exercise in the
wild. To make the AMGE model applicable in real-life situations, it is crucial
to ensure that the model can generalize well to numerous types of physical
activities not present during training and involving new combinations of
activated muscles. To achieve this, our benchmark also covers an evaluation
setting where the model is exposed to activity types excluded from the training
set. Our experiments reveal that the generalizability of existing architectures
adapted for the AMGE task remains a challenge. Therefore, we also propose a new
approach, TransM3E, which employs a multi-modality feature fusion mechanism
between both the video transformer model and the skeleton-based graph
convolution model with novel cross-modal knowledge distillation executed on
multi-classification tokens. The proposed method surpasses all popular video
classification models when dealing with both, previously seen and new types of
physical activities. The contributed dataset and code are made publicly
available at https://github.com/KPeng9510/MuscleMap.
- Abstract(参考訳): 本稿では,野生の身体活動における活動筋領域の同定を目的としたビデオベースの活動筋群推定(AMGE)の課題に取り組む。
この目的のために、135の異なるアクティビティと20のラベル付き筋群を持つ15Kビデオクリップを特徴とする、筋マップデータセットを提供する。
このデータセットは、フレキシブルな環境制約の下でスポーツやリハビリテーション医療において、複数のビデオベースのアプリケーションにビスタを開放する。
musclemapデータセットはyoutubeビデオで構築されており、特に野生のhiit(high-intensity interval training)身体運動を対象としている。
AMGEモデルを現実の状況に適用するためには、トレーニング中に存在しない多くの身体活動と、新しい活性化筋の組み合わせを伴ってモデルを適切に一般化することが不可欠である。
これを実現するために,本ベンチマークでは,モデルがトレーニングセットから除外されたアクティビティタイプに露出する評価設定についても取り上げている。
実験の結果,AMGEタスクに適応した既存アーキテクチャの汎用性は依然として課題であることがわかった。
そこで本研究では,ビデオトランスモデルとスケルトンに基づくグラフ畳み込みモデルと,多分類トークン上で実行される新しいクロスモーダル知識蒸留を用いたマルチモーダル特徴融合機構を用いたTransM3Eを提案する。
提案手法は,従来の身体活動と新しい身体活動の両方を扱う場合,すべての人気ビデオ分類モデルを上回る。
投稿されたデータセットとコードはhttps://github.com/KPeng9510/MuscleMapで公開されている。
関連論文リスト
- Adversarial Augmentation Training Makes Action Recognition Models More
Robust to Realistic Video Distribution Shifts [13.752169303624147]
アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。
そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。
提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-21T05:50:39Z) - Muscles in Action [22.482090207522358]
筋活動を人間の動作表現に組み込むための新しいデータセットである筋行動データセット(MIA)を提示する。
我々は、ビデオから筋の活性化を予測する双方向表現を学び、逆に、筋の活性化から動きを再構築する。
筋肉をコンピュータービジョンシステムに組み込むことで、スポーツ、フィットネス、AR/VRといった仮想人間のよりリッチなモデルが可能になる。
論文 参考訳(メタデータ) (2022-12-05T16:47:09Z) - REST: REtrieve & Self-Train for generative action recognition [54.90704746573636]
本稿では,ビデオ・アクション認識のための事前学習型生成ビジョン・アンド・ランゲージ(V&L)基礎モデルを提案する。
動作クラスを生成するための生成モデルの直接微調整は、過度な過度なオーバーフィッティングに苦しむことを示す。
2つの主要なコンポーネントからなるトレーニングフレームワークであるRESTを紹介します。
論文 参考訳(メタデータ) (2022-09-29T17:57:01Z) - ViA: View-invariant Skeleton Action Representation Learning via Motion
Retargeting [10.811088895926776]
ViAは、自己教師付き骨格行動表現学習のための新しいビュー不変オートエンコーダである。
本研究では,実世界のデータに基づく自己教師付き事前学習による骨格に基づく行動認識のための移動学習に焦点を当てた研究を行う。
以上の結果から,ViAから得られた骨格表現は,最先端の動作分類精度を向上させるのに十分であることがわかった。
論文 参考訳(メタデータ) (2022-08-31T18:49:38Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Few-Shot Temporal Action Localization with Query Adaptive Transformer [105.84328176530303]
TALの作品は、セグメントレベルのアノテーションを徹底した、多数のトレーニングビデオに依存している。
Few-shot TALは、モデルを1つのビデオで表される新しいクラスに適応させることを目的としている。
論文 参考訳(メタデータ) (2021-10-20T13:18:01Z) - Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。
次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。
これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
論文 参考訳(メタデータ) (2021-07-27T14:30:33Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳(メタデータ) (2021-07-22T15:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。