論文の概要: MuscleMap: Towards Video-based Activated Muscle Group Estimation

• arxiv url: http://arxiv.org/abs/2303.00952v1
• Date: Thu, 2 Mar 2023 04:12:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 16:11:02.173347
• Title: MuscleMap: Towards Video-based Activated Muscle Group Estimation
• Title（参考訳）: muscleMap: ビデオベースの活動筋群推定を目指して
• Authors: Kunyu Peng, David Schneider, Alina Roitberg, Kailun Yang, Jiaming Zhang, M. Saquib Sarfraz, Rainer Stiefelhagen
• Abstract要約: ビデオによる活動筋群推定(AMGE)の新しい課題に取り組む 筋マップ136は136の異なる活動と20のラベル付き筋群を持つ15Kビデオクリップを特徴とする。 このデータセットは、スポーツおよびリハビリテーション医療における複数のビデオベースのアプリケーションに対するビスタを開放する。
• 参考スコア（独自算出の注目度）: 31.045487530062964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle the new task of video-based Activated Muscle Group Estimation (AMGE) aiming at identifying currently activated muscular regions of humans performing a specific activity. Video-based AMGE is an important yet overlooked problem. To this intent, we provide the MuscleMap136 featuring >15K video clips with 136 different activities and 20 labeled muscle groups. This dataset opens the vistas to multiple video-based applications in sports and rehabilitation medicine. We further complement the main MuscleMap136 dataset, which specifically targets physical exercise, with Muscle-UCF90 and Muscle-HMDB41, which are new variants of the well-known activity recognition benchmarks extended with AMGE annotations. With MuscleMap136, we discover limitations of state-of-the-art architectures for human activity recognition when dealing with multi-label muscle annotations and good generalization to unseen activities is required. To address this, we propose a new multimodal transformer-based model, TransM3E, which surpasses current activity recognition models for AMGE, especially as it comes to dealing with previously unseen activities. The datasets and code will be publicly available at https://github.com/KPeng9510/MuscleMap.
• Abstract（参考訳）: 本稿では,特定の活動を行うヒトの現在活動している筋領域を特定することを目的とした,ビデオベースの活動筋群推定(AMGE)の課題に取り組む。 ビデオベースのAMGEは重要な問題だが見過ごされている。 この目的のために、136の異なる活動と20のラベル付き筋群を持つ15Kビデオクリップを特徴とする筋Map136を提供する。 このデータセットは、スポーツおよびリハビリテーション医療における複数のビデオベースのアプリケーションに対するビスタを開く。 AMGEアノテーションで拡張されたよく知られたアクティビティ認識ベンチマークの新しい変種であるMosmos-UCF90とMosmosto-HMDB41で、運動を特に対象とするメインのMosmosMap136データセットを補完する。 筋マップ136では,複数ラベルの筋アノテーションを扱う場合のヒトの行動認識のための最先端アーキテクチャの限界と,見えない活動への適切な一般化が求められている。 そこで本研究では,amgeの現在の活動認識モデルを超えるマルチモーダルトランスフォーマーモデルであるtransm3eを提案する。 データセットとコードはhttps://github.com/KPeng9510/MuscleMapで公開されている。

関連論文リスト

• Video-based Exercise Classification and Activated Muscle Group Prediction with Hybrid X3D-SlowFast Network [2.9312156642007303]
  本稿では,運動分類と筋群活性化予測(MGAP)のための簡易かつ効果的な戦略を提案する。 この分野における以前の研究は、主に搭載されたセンサーへの依存と限られた運動範囲によって支配されている。 我々の研究は、幅広いエクササイズと筋群を含むビデオベースのディープラーニングフレームワークを用いている。
  論文  参考訳（メタデータ） (2024-06-10T18:05:02Z)
• AICL: Action In-Context Learning for Video Diffusion Model [124.39948693332552]
  本稿では,参照ビデオにおける行動情報を理解する能力を備えた生成モデルを実現するAICLを提案する。 大規模な実験では、AICLが効果的にアクションをキャプチャし、最先端の世代パフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2024-03-18T07:41:19Z)
• Muscles in Action [22.482090207522358]
  筋活動を人間の動作表現に組み込むための新しいデータセットである筋行動データセット(MIA)を提示する。 我々は、ビデオから筋の活性化を予測する双方向表現を学び、逆に、筋の活性化から動きを再構築する。 筋肉をコンピュータービジョンシステムに組み込むことで、スポーツ、フィットネス、AR/VRといった仮想人間のよりリッチなモデルが可能になる。
  論文  参考訳（メタデータ） (2022-12-05T16:47:09Z)
• REST: REtrieve & Self-Train for generative action recognition [54.90704746573636]
  本稿では,ビデオ・アクション認識のための事前学習型生成ビジョン・アンド・ランゲージ(V&L)基礎モデルを提案する。 動作クラスを生成するための生成モデルの直接微調整は、過度な過度なオーバーフィッティングに苦しむことを示す。 2つの主要なコンポーネントからなるトレーニングフレームワークであるRESTを紹介します。
  論文  参考訳（メタデータ） (2022-09-29T17:57:01Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。