論文の概要: Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches
and a Head-Mounted Camera
- arxiv url: http://arxiv.org/abs/2401.00847v1
- Date: Mon, 1 Jan 2024 18:56:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 15:33:54.148396
- Title: Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches
and a Head-Mounted Camera
- Title(参考訳): スマートウォッチとヘッドマウントカメラ搭載の軽量モーションキャプチャー「Mocap Every Everywhere」
- Authors: Jiye Lee, Hanbyul Joo
- Abstract要約: 本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。
われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。
- 参考スコア(独自算出の注目度): 11.87902527509297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a lightweight and affordable motion capture method based on two
smartwatches and a head-mounted camera. In contrast to the existing approaches
that use six or more expert-level IMU devices, our approach is much more
cost-effective and convenient. Our method can make wearable motion capture
accessible to everyone everywhere, enabling 3D full-body motion capture in
diverse environments. As a key idea to overcome the extreme sparsity and
ambiguities of sensor inputs, we integrate 6D head poses obtained from the
head-mounted cameras for motion estimation. To enable capture in expansive
indoor and outdoor scenes, we propose an algorithm to track and update floor
level changes to define head poses, coupled with a multi-stage
Transformer-based regression module. We also introduce novel strategies
leveraging visual cues of egocentric images to further enhance the motion
capture quality while reducing ambiguities. We demonstrate the performance of
our method on various challenging scenarios, including complex outdoor
environments and everyday motions including object interactions and social
interactions among multiple individuals.
- Abstract(参考訳): 2台のスマートウォッチとヘッドマウントカメラを用いた軽量で手頃なモーションキャプチャ方式を提案する。
6つ以上の専門家レベルのIMUデバイスを使用する既存のアプローチとは対照的に、我々のアプローチはコスト効率が高く便利です。
この方法では、ウェアラブルのモーションキャプチャーをあらゆる場所で使えるようにし、多様な環境で3dフルボディモーションキャプチャを可能にする。
センサ入力の極端な間隔とあいまいさを克服する鍵となるアイデアとして,頭部搭載カメラから得られた6Dヘッドポーズを統合して動作推定を行う。
屋内および屋外のシーンの撮影を可能にするため,多段トランスフォーマーベース回帰モジュールと組み合わせた頭部ポーズ定義のためのフロアレベルの変化の追跡と更新を行うアルゴリズムを提案する。
また,エゴセントリック画像の視覚的手がかりを活用した新しい手法を導入し,あいまいさを低減しつつモーションキャプチャのクオリティを高める。
本手法は,複雑な屋外環境や,物体の相互作用や複数の個人間の社会的相互作用を含む日常的な動作など,様々な難易度シナリオにおいて,その性能を示す。
関連論文リスト
- PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。
これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。
本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T19:04:14Z) - Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [60.171882970835625]
動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。
具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
論文 参考訳(メタデータ) (2023-04-04T11:25:44Z) - Proactive Multi-Camera Collaboration For 3D Human Pose Estimation [16.628446718419344]
本稿では,3次元人物位置推定におけるプロアクティブなマルチカメラ協調のためのマルチエージェント強化学習手法を提案する。
アクティブカメラは3次元再構成に最適な視点を求めるために、積極的にカメラのポーズを制御している。
我々は、環境ダイナミクスをよりよく捉えるために、複数の世界ダイナミクス学習タスクでモデルを共同で訓練する。
論文 参考訳(メタデータ) (2023-03-07T10:01:00Z) - HybridCap: Inertia-aid Monocular Capture of Challenging Human Motions [41.56735523771541]
軽量なハイブリッドモキャップ技術であるHybridCapを提案する。
カメラを4つの慣性測定ユニット(IMU)で拡張し、学習と最適化のフレームワークを組み込む。
フィットネスアクションからラテンダンスまで、挑戦的な動きをしっかりと処理できる。
論文 参考訳(メタデータ) (2022-03-17T12:30:17Z) - GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。
われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。
従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
論文 参考訳(メタデータ) (2021-12-02T18:59:54Z) - Event-based Motion Segmentation by Cascaded Two-Level Multi-Model
Fitting [44.97191206895915]
独立に動く物体を単眼イベントカメラで識別するためのケースド2レベル多モデルフィッティング法を提案する。
動作パターンの異なる実世界のシーンにおいて,本手法の有効性と汎用性を示す実験を行った。
論文 参考訳(メタデータ) (2021-11-05T12:59:41Z) - Estimating 3D Motion and Forces of Human-Object Interactions from
Internet Videos [49.52070710518688]
一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。
本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
論文 参考訳(メタデータ) (2021-11-02T13:40:18Z) - Attentive and Contrastive Learning for Joint Depth and Motion Field
Estimation [76.58256020932312]
単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。
モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:45:01Z) - Lightweight Multi-person Total Motion Capture Using Sparse Multi-view
Cameras [35.67288909201899]
スパース多視点カメラのみを用いた多人数対話型シナリオのための軽量な総合的モーションキャプチャシステムを提案する。
本手法は,重度の閉塞時であっても,手と顔の効率的な位置決めと正確な関連付けが可能である。
本報告では, 高速, 頑健, 高精度な多対人モーションキャプチャ性能を実現するための, 初の軽量全モーションキャプチャシステムを提案する。
論文 参考訳(メタデータ) (2021-08-23T19:23:35Z) - SportsCap: Monocular 3D Human Motion Capture and Fine-grained
Understanding in Challenging Sports Videos [40.19723456533343]
SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。
本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。
このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
論文 参考訳(メタデータ) (2021-04-23T07:52:03Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。