論文の概要: SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos

• arxiv url: http://arxiv.org/abs/2104.11452v1
• Date: Fri, 23 Apr 2021 07:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 13:07:41.967624
• Title: SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos
• Title（参考訳）: スポーツキャプション:身近なスポーツビデオで、モノクロの3Dモーションキャプチャーときめ細かい理解
• Authors: Xin Chen, Anqi Pang, Wei Yang, Yuexin Ma, Lan Xu, Jingyi Yu
• Abstract要約: SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
• 参考スコア（独自算出の注目度）: 40.19723456533343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Markerless motion capture and understanding of professional non-daily human movements is an important yet unsolved task, which suffers from complex motion patterns and severe self-occlusion, especially for the monocular setting. In this paper, we propose SportsCap -- the first approach for simultaneously capturing 3D human motions and understanding fine-grained actions from monocular challenging sports video input. Our approach utilizes the semantic and temporally structured sub-motion prior in the embedding space for motion capture and understanding in a data-driven multi-task manner. To enable robust capture under complex motion patterns, we propose an effective motion embedding module to recover both the implicit motion embedding and explicit 3D motion details via a corresponding mapping function as well as a sub-motion classifier. Based on such hybrid motion information, we introduce a multi-stream spatial-temporal Graph Convolutional Network(ST-GCN) to predict the fine-grained semantic action attributes, and adopt a semantic attribute mapping block to assemble various correlated action attributes into a high-level action label for the overall detailed understanding of the whole sequence, so as to enable various applications like action assessment or motion scoring. Comprehensive experiments on both public and our proposed datasets show that with a challenging monocular sports video input, our novel approach not only significantly improves the accuracy of 3D human motion capture, but also recovers accurate fine-grained semantic action attributes.
• Abstract（参考訳）: プロの非日常的な人間の動きのマーカーなしのモーションキャプチャーと理解は、複雑な動きパターンと重度の自己閉塞に悩まされる重要な未解決課題である。 本稿では,3次元人間の動きを同時に捉え,モノラルな挑戦的なスポーツビデオ入力からのきめ細かい動作を理解するための,最初のアプローチであるSportsCapを提案する。 本手法は,データ駆動型マルチタスク方式の動作キャプチャと理解のために,埋め込み空間に先行する意味的および時間的構造的サブモーションを利用する。 複雑な動きパターンの下でロバストなキャプチャを実現するために,我々は,暗黙的な動き埋め込みと明示的な3次元動き詳細の両方を対応するマッピング関数とサブモーション分類器で復元する効果的な動き埋め込みモジュールを提案する。 このようなハイブリッド動作情報に基づいて,マルチストリーム時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,細粒度なセマンティックアクション属性を予測し,関連するアクション属性を高レベルなアクションラベルに集約する意味属性マッピングブロックを導入し,シーケンス全体を詳細に理解し,アクションアセスメントやモーションスコアリングなどの様々な応用を可能にする。 一般および提案するデータセットの総合的な実験により, 単眼型スポーツ映像の入力に挑戦することで, 3次元モーションキャプチャの精度が大幅に向上するだけでなく, 正確な細粒度のセマンティクス特性を回復できることを示した。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• MotionLLM: Understanding Human Behaviors from Human Motions and Videos [40.132643319573205]
  この研究は、人間の行動理解の多様性(ビデオと運動のモダリティ)の領域を掘り下げる。 我々は、人間の動作理解、キャプション、推論のためのフレームワークであるMotionLLMを紹介する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:50Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Action Recognition with Multi-stream Motion Modeling and Mutual Information Maximization [44.73161606369333]
  行動認識は、人工知能の根本的で興味深い問題である。 本稿では,マルチストリームコンポーネントとチャネルアテンションを備えた新しいStream-GCNネットワークを提案する。 提案手法は,3つのベンチマークデータセット上での最先端性能の設定を行う。
  論文  参考訳（メタデータ） (2023-06-13T06:56:09Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)
• ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References [18.327101908143113]
  今回提案するChallenCapは、単一のRGBカメラで難しい3D人間の動きをキャプチャするテンプレートベースのアプローチです。 我々は,マルチモーダル参照を用いた新しい学習・最適化フレームワークを採用する。 我々の新しい挑戦運動データセットの実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2021-03-11T15:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。