論文の概要: Sports Analysis and VR Viewing System Based on Player Tracking and Pose Estimation with Multimodal and Multiview Sensors
- arxiv url: http://arxiv.org/abs/2405.01112v1
- Date: Thu, 2 May 2024 09:19:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 17:13:51.758528
- Title: Sports Analysis and VR Viewing System Based on Player Tracking and Pose Estimation with Multimodal and Multiview Sensors
- Title（参考訳）: マルチモーダル・マルチビューセンサを用いた選手追跡とポース推定に基づくスポーツ分析とVR視聴システム
- Authors: Wenxuan Guo, Zhiyu Pan, Ziheng Xi, Alapati Tuerxun, Jianjiang Feng, Jie Zhou,
- Abstract要約: 本稿では,VR/ARプラットフォーム上でのスポーツ競技の分析とリアルタイム可視化のための総合システムについて紹介する。
本稿では,限られた量の教師付きデータに基づいて,マルチプレイヤー追跡とポーズ推定を行うフレームワークを提案する。
最終的に、これらの3Dプレイヤーデータを用いて、VR/AR上で競合分析とリアルタイム可視化を行う。
- 参考スコア（独自算出の注目度）: 29.694346498355443
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sports analysis and viewing play a pivotal role in the current sports domain, offering significant value not only to coaches and athletes but also to fans and the media. In recent years, the rapid development of virtual reality (VR) and augmented reality (AR) technologies have introduced a new platform for watching games. Visualization of sports competitions in VR/AR represents a revolutionary technology, providing audiences with a novel immersive viewing experience. However, there is still a lack of related research in this area. In this work, we present for the first time a comprehensive system for sports competition analysis and real-time visualization on VR/AR platforms. First, we utilize multiview LiDARs and cameras to collect multimodal game data. Subsequently, we propose a framework for multi-player tracking and pose estimation based on a limited amount of supervised data, which extracts precise player positions and movements from point clouds and images. Moreover, we perform avatar modeling of players to obtain their 3D models. Ultimately, using these 3D player data, we conduct competition analysis and real-time visualization on VR/AR. Extensive quantitative experiments demonstrate the accuracy and robustness of our multi-player tracking and pose estimation framework. The visualization results showcase the immense potential of our sports visualization system on the domain of watching games on VR/AR devices. The multimodal competition dataset we collected and all related code will be released soon.
- Abstract（参考訳）: スポーツ分析と観戦は、現在のスポーツ分野において重要な役割を担い、コーチやアスリートだけでなく、ファンやメディアにも大きな価値を提供している。
近年、仮想現実(VR)と拡張現実(AR)技術の急速な発展により、ゲームを見るための新しいプラットフォームが導入された。
VR/ARにおけるスポーツ競技の可視化は革命的な技術であり、観客に新しい没入感のある視聴体験を提供する。
しかし、この領域には関連研究の欠如がある。
本稿では,VR/ARプラットフォーム上でのスポーツ競技の分析とリアルタイム可視化のための総合システムについて紹介する。
まず,マルチビューLiDARとカメラを用いてマルチモーダルゲームデータを収集する。
そこで本研究では,限られた量の教師付きデータに基づくマルチプレイヤー追跡とポーズ推定のためのフレームワークを提案し,ポイントクラウドや画像から正確なプレイヤーの位置と動きを抽出する。
さらに,プレイヤーの3次元モデルを得るためにアバターモデリングを行う。
最終的に、これらの3Dプレイヤーデータを用いて、VR/AR上で競合分析とリアルタイム可視化を行う。
大規模な定量的実験により,マルチプレイヤートラッキングとポーズ推定フレームワークの精度とロバスト性を実証した。
ビジュアライゼーションの結果は、VR/ARデバイス上でゲームを見るという領域における、スポーツ視覚化システムの巨大な可能性を示している。
私たちが収集したマルチモーダルコンペティションデータセットと関連するすべてのコードが間もなくリリースされる予定です。
関連論文リスト
- EasyVolcap: Accelerating Neural Volumetric Video Research [69.59671164891725]
ボリュームビデオは、芸術的パフォーマンス、スポーツイベント、リモート会話などの動的イベントをデジタル的に記録する技術である。
EasyVolcapはPythonとPytorchのライブラリで、マルチビューデータ処理、4Dシーン再構成、効率的なダイナミックボリュームビデオレンダリングのプロセスを統一する。
論文 参考訳（メタデータ） (2023-12-11T17:59:46Z) - What do we learn from a large-scale study of pre-trained visual representations in sim and real environments? [48.75469525877328]
本研究では、実世界のタスクを実行する下流政策のトレーニングに、事前訓練された視覚表現(PVR)の使用に関する大規模な実証的研究を行う。
1)シミュレーションにおけるPVRのパフォーマンス傾向は,一般的に実世界におけるPVRのパフォーマンス傾向を示すものである。
論文 参考訳（メタデータ） (2023-10-03T17:27:10Z) - VR.net: A Real-world Dataset for Virtual Reality Motion Sickness
Research [33.092692299254814]
VR.netは10のジャンルで10の現実世界のゲームから約12時間のゲームプレイビデオを提供するデータセットである。
各ビデオフレームに対して、カメラ/オブジェクト移動、深度場、モーションフローなど、モーション病関連ラベルの豊富なセットを正確に割り当てる。
我々は,VRゲームのソースコードにアクセスすることなく,3Dエンジンのレンダリングパイプラインから地上の真実データを自動的かつ正確に抽出するツールを利用する。
論文 参考訳（メタデータ） (2023-06-06T03:43:11Z) - 3D Concept Learning and Reasoning from Multi-View Images [96.3088005719963]
3次元多視点視覚質問応答のための大規模ベンチマーク(3DMV-VQA)を提案する。
このデータセットは、約5kのシーンと600kのイメージで構成され、50kの質問と組み合わせられている。
本稿では,ニューラルネットワーク,2次元事前学習型視覚言語モデル,ニューラル推論演算子をシームレスに組み合わせた新しい3次元概念学習・推論フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-20T17:59:49Z) - UmeTrack: Unified multi-view end-to-end hand tracking for VR [34.352638006495326]
空間における3Dハンドポーズのリアルタイム追跡は難しい問題であり、VRインタラクションにおいて重要な役割を果たす。
本稿では,世界空間における3Dハンドポーズを直接予測する多視点多フレームハンドトラッキングのための,エンドツーエンドの識別可能な統合フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:09:21Z) - Towards 3D VR-Sketch to 3D Shape Retrieval [128.47604316459905]
入力モダリティとしての3Dスケッチの利用について検討し、検索を行うVRシナリオを提唱する。
この新しい3DVR-Sketchから3D形状の検索問題に対する最初のスタンプとして、私たちは4つのコントリビューションを行います。
論文 参考訳（メタデータ） (2022-09-20T22:04:31Z) - DeepSportradar-v1: Computer Vision Dataset for Sports Understanding with
High Quality Annotations [3.000319651350124]
本稿では,自動スポーツ理解のためのコンピュータビジョンタスク,データセット,ベンチマークスイートであるDeepSportradar-v1を紹介する。
このフレームワークの主な目的は、学術研究と現実世界の設定のギャップを埋めることである。
論文 参考訳（メタデータ） (2022-08-17T09:55:02Z) - A Survey on Video Action Recognition in Sports: Datasets, Methods and
Applications [60.3327085463545]
本稿では,スポーツ分析のための映像行動認識に関する調査を行う。
サッカー、バスケットボール、バレーボール、ホッケー、フィギュアスケート、体操、卓球、ダイビング、バドミントンなど10種以上のスポーツを紹介します。
本研究では,サッカー,バスケットボール,卓球,フィギュアスケート動作認識をサポートするPaddlePaddleを用いたツールボックスを開発した。
論文 参考訳（メタデータ） (2022-06-02T13:19:36Z) - MonoTrack: Shuttle trajectory reconstruction from monocular badminton
video [6.218613353519723]
モノクロバドミントンビデオから3次元シャトル軌道の抽出と分割を行うための,最初のエンドツーエンドシステムを提案する。
本システムは, コート次元, ショット配置, 動きの物理法則などのバドミントン領域の知識と, プレイヤーのポーズやシャトル追跡などの視覚的特徴を統合する。
論文 参考訳（メタデータ） (2022-04-04T23:57:57Z) - A Comprehensive Review of Computer Vision in Sports: Open Issues, Future
Trends and Research Directions [3.138976077182707]
本稿では,スポーツ映像解析の高レベル分析への応用について概説する。
選手の検出と分類、スポーツにおける選手またはボールの追跡、選手またはボールの軌跡の予測、チームの戦略の認識、スポーツにおける様々なイベントの分類が含まれる。
論文 参考訳（メタデータ） (2022-03-03T07:49:21Z) - Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual
Reality [68.18446501943585]
ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える
最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。
本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
論文 参考訳（メタデータ） (2021-04-10T15:48:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。