論文の概要: FreeCap: Hybrid Calibration-Free Motion Capture in Open Environments
- arxiv url: http://arxiv.org/abs/2411.04469v1
- Date: Thu, 07 Nov 2024 06:39:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:38:43.845972
- Title: FreeCap: Hybrid Calibration-Free Motion Capture in Open Environments
- Title(参考訳): FreeCap: オープン環境におけるハイブリッドキャリブレーションフリーモーションキャプチャ
- Authors: Aoru Xue, Yiming Ren, Zining Song, Mao Ye, Xinge Zhu, Yuexin Ma,
- Abstract要約: 我々のシステムは、単一のLiDARと拡張可能な移動カメラを組み合わせることで、柔軟で正確な動き推定を可能にする。
特に,ローカル・グローバル・ポーズ・アウェア・クロスセンサー・ヒューマン・マッチング・モジュールについて紹介する。
我々の手法は最先端のシングルモーダル法よりも優れています。
- 参考スコア(独自算出の注目度): 25.23589695753732
- License:
- Abstract: We propose a novel hybrid calibration-free method FreeCap to accurately capture global multi-person motions in open environments. Our system combines a single LiDAR with expandable moving cameras, allowing for flexible and precise motion estimation in a unified world coordinate. In particular, We introduce a local-to-global pose-aware cross-sensor human-matching module that predicts the alignment among each sensor, even in the absence of calibration. Additionally, our coarse-to-fine sensor-expandable pose optimizer further optimizes the 3D human key points and the alignments, it is also capable of incorporating additional cameras to enhance accuracy. Extensive experiments on Human-M3 and FreeMotion datasets demonstrate that our method significantly outperforms state-of-the-art single-modal methods, offering an expandable and efficient solution for multi-person motion capture across various applications.
- Abstract(参考訳): オープン環境におけるグローバルなマルチパーソン動作を正確にキャプチャするハイブリッドキャリブレーションフリー手法FreeCapを提案する。
我々のシステムは、単一のLiDARと拡張可能な移動カメラを組み合わせることで、統一世界座標における柔軟かつ正確な動き推定を可能にする。
特に,キャリブレーションがなくても,各センサ間のアライメントを予測できる,局所的かつグローバルなポーズ認識型ヒューマンマッチングモジュールについて紹介する。
さらに,3次元人間のキーポイントとアライメントを最適化し,カメラを付加することで精度を高めることができる。
また,Human-M3およびFreeMotionデータセットの大規模な実験により,本手法は最先端の単一モーダル手法よりも優れており,多人数モーションキャプチャのための拡張可能かつ効率的なソリューションを提供する。
関連論文リスト
- Camera Calibration using a Collimator System [5.138012450471437]
本稿では,コリメータシステムを用いたカメラキャリブレーション手法を提案する。
コリメータシステムの光学的幾何に基づいて、目標とカメラの間の相対運動が球運動モデルに一致することを証明した。
カメラキャリブレーションにおいて,複数ビューの閉形式解法と2ビューの最小解法を提案する。
論文 参考訳(メタデータ) (2024-09-30T07:40:41Z) - COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。
COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2024-08-29T10:36:29Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳(メタデータ) (2024-02-27T03:08:44Z) - Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera [10.055317239956423]
本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。
われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。
論文 参考訳(メタデータ) (2024-01-01T18:56:54Z) - W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration [57.37135310143126]
モノクロ画像からの3次元運動回復のための従来の手法は、カメラ座標に依存するため、しばしば不足する。
W-HMRは、身体の歪み情報に基づいて「適切な」焦点長を予測する弱教師付き校正法である。
また,世界空間における可視的再構築のために,身体の向きを補正する OrientCorrect モジュールを提案する。
論文 参考訳(メタデータ) (2023-11-29T09:02:07Z) - LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse
Inertial and LiDAR Sensors [38.60837840737258]
本研究では,大規模なシナリオにおいて,高精度な局所的なポーズとグローバルな軌跡を持つ3次元人間の動きを捉えるためのマルチセンサ融合法を提案する。
我々は,2段階のポーズ推定器を粗大な方法で設計し,そこでは点雲が粗大な体形状を提供し,IMU測定は局所的な動作を最適化する。
我々は,LiDAR-IMUマルチモーダルモキャップデータセット(LIPD)を長期シナリオで収集する。
論文 参考訳(メタデータ) (2022-05-30T20:15:11Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳(メタデータ) (2021-12-02T18:59:54Z) - Unified Data Collection for Visual-Inertial Calibration via Deep
Reinforcement Learning [24.999540933593273]
本研究では,ロボットアーム上で自動データ収集を行う動作ポリシーを学習するための新しい定式化を提案する。
本手法はモデルフリー深部強化学習を用いてキャリブレーション過程をコンパクトにモデル化する。
シミュレーションでは、手作りのポリシーよりも10倍速くキャリブレーションを実行できます。
論文 参考訳(メタデータ) (2021-09-30T10:03:56Z) - Lightweight Multi-person Total Motion Capture Using Sparse Multi-view
Cameras [35.67288909201899]
スパース多視点カメラのみを用いた多人数対話型シナリオのための軽量な総合的モーションキャプチャシステムを提案する。
本手法は,重度の閉塞時であっても,手と顔の効率的な位置決めと正確な関連付けが可能である。
本報告では, 高速, 頑健, 高精度な多対人モーションキャプチャ性能を実現するための, 初の軽量全モーションキャプチャシステムを提案する。
論文 参考訳(メタデータ) (2021-08-23T19:23:35Z) - Estimating Egocentric 3D Human Pose in Global Space [70.7272154474722]
本稿では,魚眼カメラを用いた自己中心型3次元体姿勢推定法を提案する。
提案手法は, 定量的, 定性的に, 最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-04-27T20:01:57Z) - Calibrated and Partially Calibrated Semi-Generalized Homographies [65.29477277713205]
視点と一般化カメラから半一般化ホモグラフィーを推定するための最初の最小解を提案する。
提案した解法は、多くの合成および実世界の実験で実証されたように安定かつ効率的である。
論文 参考訳(メタデータ) (2021-03-11T08:56:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。