論文の概要: Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space
Multi-Person Video Motion Capture in the Wild
- arxiv url: http://arxiv.org/abs/2001.05613v2
- Date: Wed, 14 Oct 2020 04:08:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 00:49:29.759516
- Title: Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space
Multi-Person Video Motion Capture in the Wild
- Title（参考訳）: 2次元ポーズと3次元動作の相乗的再構成による野生多人数ビデオ撮影
- Authors: Takuya Ohashi, Yosuke Ikegami, Yoshihiko Nakamura
- Abstract要約: マルチカメラの精度と滑らかさを考慮したマーカーレスモーションキャプチャ手法を提案する。
提案手法は,各人物の3Dポーズを予測し,マルチカメラ画像のバウンディングボックスを決定する。
提案手法を,様々なデータセットと実スポーツフィールドを用いて評価した。
- 参考スコア（独自算出の注目度）: 3.0015034534260665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although many studies have investigated markerless motion capture, the
technology has not been applied to real sports or concerts. In this paper, we
propose a markerless motion capture method with spatiotemporal accuracy and
smoothness from multiple cameras in wide-space and multi-person environments.
The proposed method predicts each person's 3D pose and determines the bounding
box of multi-camera images small enough. This prediction and spatiotemporal
filtering based on human skeletal model enables 3D reconstruction of the person
and demonstrates high-accuracy. The accurate 3D reconstruction is then used to
predict the bounding box of each camera image in the next frame. This is
feedback from the 3D motion to 2D pose, and provides a synergetic effect on the
overall performance of video motion capture. We evaluated the proposed method
using various datasets and a real sports field. The experimental results
demonstrate that the mean per joint position error (MPJPE) is 31.5 mm and the
percentage of correct parts (PCP) is 99.5% for five people dynamically moving
while satisfying the range of motion (RoM). Video demonstration, datasets, and
additional materials are posted on our project page.
- Abstract（参考訳）: 多くの研究がマーカーレスモーションキャプチャを調査しているが、この技術は実際のスポーツやコンサートには適用されていない。
本稿では,広空間・多人数環境における複数カメラの時空間精度とスムース性を備えたマーカーレスモーションキャプチャ手法を提案する。
提案手法は,各人の3次元ポーズを予測し,マルチカメラ画像のバウンディングボックスを十分に小さく決定する。
この予測と、ヒト骨格モデルに基づく時空間フィルタリングは、人物の3次元再構成を可能にし、高い精度を示す。
次に、正確な3D再構成を用いて、次のフレーム内の各カメラ画像のバウンディングボックスを予測する。
これは3Dモーションから2Dポーズへのフィードバックであり、ビデオモーションキャプチャ全体のパフォーマンスに相乗効果を与える。
提案手法を各種データセットと実スポーツフィールドを用いて評価した。
実験の結果,平均関節位置誤差 (mpjpe) は31.5mmであり, 運動範囲 (rom) を満たしながら動的に移動する5人に対して, 正部品 (pcp) の割合は99.5%であった。
ビデオデモ、データセット、および追加の資料がプロジェクトのページに掲載されています。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。
まず,逆撮影行動推定手法を提案する。
次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
論文 参考訳（メタデータ） (2023-11-29T15:56:58Z) - MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion [57.90404618420159]
本稿では3次元モーション生成手法であるマルチビューアンセストラルサンプリング(MAS)を紹介する。
MASは、同じ3Dモーションの異なるビューを表す複数の2Dモーションシーケンスを同時に認知することで機能する。
プロバスケットボールの操り方を描いたビデオから得られた2DポーズデータをMASで実証する。
論文 参考訳（メタデータ） (2023-10-23T09:05:18Z) - Monocular 3D Human Pose Estimation for Sports Broadcasts using Partial
Sports Field Registration [0.0]
スポーツ場の一部登録による2次元ポーズ推定とカメラキャリブレーションの進歩を組み合わせることで,有効な大規模運動データ収集の道筋を示す。
異なる視点、実行スタイル、ボディタイプを備えた、Unreal Engine 5で10k以上の画像の合成データセットを生成します。
論文 参考訳（メタデータ） (2023-04-10T07:41:44Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳（メタデータ） (2023-01-12T18:01:28Z) - 3D Human Pose Estimation in Multi-View Operating Room Videos Using
Differentiable Camera Projections [2.486571221735935]
本稿では,3次元の損失に基づいて2次元CNNをエンドツーエンドにトレーニングすることで,3次元のローカライゼーションを直接最適化することを提案する。
MVORデータセットの動画を用いて、このエンドツーエンドアプローチが2次元空間での最適化より優れていることを示す。
論文 参考訳（メタデータ） (2022-10-21T09:00:02Z) - Temporal View Synthesis of Dynamic Scenes through 3D Object Motion
Estimation with Multi-Plane Images [8.185918509343816]
本稿では,ビデオの次のフレームを予測することを目的として,時間的視点合成(TVS)の問題について検討する。
本研究では,ユーザとオブジェクトの両方が動いている動的シーンのTVSについて考察する。
過去のフレームにおける3次元物体の動きを分離・推定し,その外挿により物体の動きを予測する。
論文 参考訳（メタデータ） (2022-08-19T17:40:13Z) - Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred
Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。
提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-29T11:25:14Z) - Consistent Depth of Moving Objects in Video [52.72092264848864]
移動カメラで撮影した通常の映像から任意の移動物体を含む動的シーンの深さを推定する手法を提案する。
我々は、この目的を、深度予測CNNを入力ビデオ全体にわたって補助的なシーンフロー予測でタンデムで訓練する新しいテストタイムトレーニングフレームワークで定式化する。
我々は、さまざまな移動物体(ペット、人、車)とカメラの動きを含む様々な挑戦的なビデオに対して、正確かつ時間的に一貫性のある結果を示す。
論文 参考訳（メタデータ） (2021-08-02T20:53:18Z) - Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated
Convolution [34.301501457959056]
本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。
また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。
提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
論文 参考訳（メタデータ） (2020-10-31T04:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。