論文の概要: MuscleMap: Towards Video-based Activated Muscle Group Estimation in the Wild

• arxiv url: http://arxiv.org/abs/2303.00952v3
• Date: Sat, 23 Dec 2023 12:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-28 02:11:16.466985
• Title: MuscleMap: Towards Video-based Activated Muscle Group Estimation in the Wild
• Title（参考訳）: muscleMap: 野生におけるビデオベースの活性化筋群推定を目指して
• Authors: Kunyu Peng, David Schneider, Alina Roitberg, Kailun Yang, Jiaming Zhang, Chen Deng, Kaiyu Zhang, M. Saquib Sarfraz, Rainer Stiefelhagen
• Abstract要約: 本稿では,ビデオによる活動筋群推定(AMGE)の新しい課題に取り組む。 我々は135の異なる活動と20のラベル付き筋群を持つ15Kビデオクリップを特徴とする筋マップデータセットを提供する。 このデータセットはYouTubeのビデオで構築されており、特にハイインテンシティ・インターバルトレーニング(HIIT)をターゲットとしている。
• 参考スコア（独自算出の注目度）: 46.38621663288131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle the new task of video-based Activated Muscle Group Estimation (AMGE) aiming at identifying active muscle regions during physical activity in the wild. To this intent, we provide the MuscleMap dataset featuring >15K video clips with 135 different activities and 20 labeled muscle groups. This dataset opens the vistas to multiple video-based applications in sports and rehabilitation medicine under flexible environment constraints. The proposed MuscleMap dataset is constructed with YouTube videos, specifically targeting High-Intensity Interval Training (HIIT) physical exercise in the wild. To make the AMGE model applicable in real-life situations, it is crucial to ensure that the model can generalize well to numerous types of physical activities not present during training and involving new combinations of activated muscles. To achieve this, our benchmark also covers an evaluation setting where the model is exposed to activity types excluded from the training set. Our experiments reveal that the generalizability of existing architectures adapted for the AMGE task remains a challenge. Therefore, we also propose a new approach, TransM3E, which employs a multi-modality feature fusion mechanism between both the video transformer model and the skeleton-based graph convolution model with novel cross-modal knowledge distillation executed on multi-classification tokens. The proposed method surpasses all popular video classification models when dealing with both, previously seen and new types of physical activities. The contributed dataset and code are made publicly available at https://github.com/KPeng9510/MuscleMap.
• Abstract（参考訳）: 本稿では,野生の身体活動における活動筋領域の同定を目的としたビデオベースの活動筋群推定(AMGE)の課題に取り組む。 この目的のために、135の異なるアクティビティと20のラベル付き筋群を持つ15Kビデオクリップを特徴とする、筋マップデータセットを提供する。 このデータセットは、フレキシブルな環境制約の下でスポーツやリハビリテーション医療において、複数のビデオベースのアプリケーションにビスタを開放する。 musclemapデータセットはyoutubeビデオで構築されており、特に野生のhiit(high-intensity interval training)身体運動を対象としている。 AMGEモデルを現実の状況に適用するためには、トレーニング中に存在しない多くの身体活動と、新しい活性化筋の組み合わせを伴ってモデルを適切に一般化することが不可欠である。 これを実現するために,本ベンチマークでは,モデルがトレーニングセットから除外されたアクティビティタイプに露出する評価設定についても取り上げている。 実験の結果,AMGEタスクに適応した既存アーキテクチャの汎用性は依然として課題であることがわかった。 そこで本研究では,ビデオトランスモデルとスケルトンに基づくグラフ畳み込みモデルと,多分類トークン上で実行される新しいクロスモーダル知識蒸留を用いたマルチモーダル特徴融合機構を用いたTransM3Eを提案する。 提案手法は,従来の身体活動と新しい身体活動の両方を扱う場合,すべての人気ビデオ分類モデルを上回る。 投稿されたデータセットとコードはhttps://github.com/KPeng9510/MuscleMapで公開されている。

関連論文リスト

• Video-based Exercise Classification and Activated Muscle Group Prediction with Hybrid X3D-SlowFast Network [2.9312156642007303]
  本稿では,運動分類と筋群活性化予測(MGAP)のための簡易かつ効果的な戦略を提案する。 この分野における以前の研究は、主に搭載されたセンサーへの依存と限られた運動範囲によって支配されている。 我々の研究は、幅広いエクササイズと筋群を含むビデオベースのディープラーニングフレームワークを用いている。
  論文  参考訳（メタデータ） (2024-06-10T18:05:02Z)
• AICL: Action In-Context Learning for Video Diffusion Model [124.39948693332552]
  本稿では,参照ビデオにおける行動情報を理解する能力を備えた生成モデルを実現するAICLを提案する。 大規模な実験では、AICLが効果的にアクションをキャプチャし、最先端の世代パフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2024-03-18T07:41:19Z)
• Muscles in Action [22.482090207522358]
  筋活動を人間の動作表現に組み込むための新しいデータセットである筋行動データセット(MIA)を提示する。 我々は、ビデオから筋の活性化を予測する双方向表現を学び、逆に、筋の活性化から動きを再構築する。 筋肉をコンピュータービジョンシステムに組み込むことで、スポーツ、フィットネス、AR/VRといった仮想人間のよりリッチなモデルが可能になる。
  論文  参考訳（メタデータ） (2022-12-05T16:47:09Z)
• REST: REtrieve & Self-Train for generative action recognition [54.90704746573636]
  本稿では,ビデオ・アクション認識のための事前学習型生成ビジョン・アンド・ランゲージ(V&L)基礎モデルを提案する。 動作クラスを生成するための生成モデルの直接微調整は、過度な過度なオーバーフィッティングに苦しむことを示す。 2つの主要なコンポーネントからなるトレーニングフレームワークであるRESTを紹介します。
  論文  参考訳（メタデータ） (2022-09-29T17:57:01Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。