論文の概要: MuscleMap: Towards Video-based Activated Muscle Group Estimation
- arxiv url: http://arxiv.org/abs/2303.00952v1
- Date: Thu, 2 Mar 2023 04:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 16:11:02.173347
- Title: MuscleMap: Towards Video-based Activated Muscle Group Estimation
- Title(参考訳): muscleMap: ビデオベースの活動筋群推定を目指して
- Authors: Kunyu Peng, David Schneider, Alina Roitberg, Kailun Yang, Jiaming
Zhang, M. Saquib Sarfraz, Rainer Stiefelhagen
- Abstract要約: ビデオによる活動筋群推定(AMGE)の新しい課題に取り組む
筋マップ136は136の異なる活動と20のラベル付き筋群を持つ15Kビデオクリップを特徴とする。
このデータセットは、スポーツおよびリハビリテーション医療における複数のビデオベースのアプリケーションに対するビスタを開放する。
- 参考スコア(独自算出の注目度): 31.045487530062964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we tackle the new task of video-based Activated Muscle Group
Estimation (AMGE) aiming at identifying currently activated muscular regions of
humans performing a specific activity. Video-based AMGE is an important yet
overlooked problem. To this intent, we provide the MuscleMap136 featuring >15K
video clips with 136 different activities and 20 labeled muscle groups. This
dataset opens the vistas to multiple video-based applications in sports and
rehabilitation medicine. We further complement the main MuscleMap136 dataset,
which specifically targets physical exercise, with Muscle-UCF90 and
Muscle-HMDB41, which are new variants of the well-known activity recognition
benchmarks extended with AMGE annotations. With MuscleMap136, we discover
limitations of state-of-the-art architectures for human activity recognition
when dealing with multi-label muscle annotations and good generalization to
unseen activities is required. To address this, we propose a new multimodal
transformer-based model, TransM3E, which surpasses current activity recognition
models for AMGE, especially as it comes to dealing with previously unseen
activities. The datasets and code will be publicly available at
https://github.com/KPeng9510/MuscleMap.
- Abstract(参考訳): 本稿では,特定の活動を行うヒトの現在活動している筋領域を特定することを目的とした,ビデオベースの活動筋群推定(AMGE)の課題に取り組む。
ビデオベースのAMGEは重要な問題だが見過ごされている。
この目的のために、136の異なる活動と20のラベル付き筋群を持つ15Kビデオクリップを特徴とする筋Map136を提供する。
このデータセットは、スポーツおよびリハビリテーション医療における複数のビデオベースのアプリケーションに対するビスタを開く。
AMGEアノテーションで拡張されたよく知られたアクティビティ認識ベンチマークの新しい変種であるMosmos-UCF90とMosmosto-HMDB41で、運動を特に対象とするメインのMosmosMap136データセットを補完する。
筋マップ136では,複数ラベルの筋アノテーションを扱う場合のヒトの行動認識のための最先端アーキテクチャの限界と,見えない活動への適切な一般化が求められている。
そこで本研究では,amgeの現在の活動認識モデルを超えるマルチモーダルトランスフォーマーモデルであるtransm3eを提案する。
データセットとコードはhttps://github.com/KPeng9510/MuscleMapで公開されている。
関連論文リスト
- Adversarial Augmentation Training Makes Action Recognition Models More
Robust to Realistic Video Distribution Shifts [13.752169303624147]
アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。
そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。
提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-21T05:50:39Z) - Muscles in Action [22.482090207522358]
筋活動を人間の動作表現に組み込むための新しいデータセットである筋行動データセット(MIA)を提示する。
我々は、ビデオから筋の活性化を予測する双方向表現を学び、逆に、筋の活性化から動きを再構築する。
筋肉をコンピュータービジョンシステムに組み込むことで、スポーツ、フィットネス、AR/VRといった仮想人間のよりリッチなモデルが可能になる。
論文 参考訳(メタデータ) (2022-12-05T16:47:09Z) - REST: REtrieve & Self-Train for generative action recognition [54.90704746573636]
本稿では,ビデオ・アクション認識のための事前学習型生成ビジョン・アンド・ランゲージ(V&L)基礎モデルを提案する。
動作クラスを生成するための生成モデルの直接微調整は、過度な過度なオーバーフィッティングに苦しむことを示す。
2つの主要なコンポーネントからなるトレーニングフレームワークであるRESTを紹介します。
論文 参考訳(メタデータ) (2022-09-29T17:57:01Z) - ViA: View-invariant Skeleton Action Representation Learning via Motion
Retargeting [10.811088895926776]
ViAは、自己教師付き骨格行動表現学習のための新しいビュー不変オートエンコーダである。
本研究では,実世界のデータに基づく自己教師付き事前学習による骨格に基づく行動認識のための移動学習に焦点を当てた研究を行う。
以上の結果から,ViAから得られた骨格表現は,最先端の動作分類精度を向上させるのに十分であることがわかった。
論文 参考訳(メタデータ) (2022-08-31T18:49:38Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Few-Shot Temporal Action Localization with Query Adaptive Transformer [105.84328176530303]
TALの作品は、セグメントレベルのアノテーションを徹底した、多数のトレーニングビデオに依存している。
Few-shot TALは、モデルを1つのビデオで表される新しいクラスに適応させることを目的としている。
論文 参考訳(メタデータ) (2021-10-20T13:18:01Z) - Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。
次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。
これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
論文 参考訳(メタデータ) (2021-07-27T14:30:33Z) - EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。
まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。
第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
論文 参考訳(メタデータ) (2021-07-22T15:57:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。