論文の概要: Motion Capture from Inertial and Vision Sensors
- arxiv url: http://arxiv.org/abs/2407.16341v1
- Date: Tue, 23 Jul 2024 09:41:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 17:45:51.890935
- Title: Motion Capture from Inertial and Vision Sensors
- Title（参考訳）: 慣性・視覚センサからのモーションキャプチャ
- Authors: Xiaodong Chen, Wu Liu, Qian Bao, Xinchen Liu, Quanwei Yang, Ruoli Dai, Tao Mei,
- Abstract要約: MINIONSは、INertialとvisION Sensorsから収集された大規模なモーションキャプチャーデータセットである。
単眼カメラと極めて少ないIMUを用いたマルチモーダルモーションキャプチャの実験を行った。
- 参考スコア（独自算出の注目度）: 60.5190090684795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human motion capture is the foundation for many computer vision and graphics tasks. While industrial motion capture systems with complex camera arrays or expensive wearable sensors have been widely adopted in movie and game production, consumer-affordable and easy-to-use solutions for personal applications are still far from mature. To utilize a mixture of a monocular camera and very few inertial measurement units (IMUs) for accurate multi-modal human motion capture in daily life, we contribute MINIONS in this paper, a large-scale Motion capture dataset collected from INertial and visION Sensors. MINIONS has several featured properties: 1) large scale of over five million frames and 400 minutes duration; 2) multi-modality data of IMUs signals and RGB videos labeled with joint positions, joint rotations, SMPL parameters, etc.; 3) a diverse set of 146 fine-grained single and interactive actions with textual descriptions. With the proposed MINIONS, we conduct experiments on multi-modal motion capture and explore the possibilities of consumer-affordable motion capture using a monocular camera and very few IMUs. The experiment results emphasize the unique advantages of inertial and vision sensors, showcasing the promise of consumer-affordable multi-modal motion capture and providing a valuable resource for further research and development.
- Abstract（参考訳）: 人間のモーションキャプチャは多くのコンピュータビジョンとグラフィックタスクの基礎となっている。
複雑なカメラアレイや高価なウェアラブルセンサーを備えた産業用モーションキャプチャシステムは、映画やゲーム制作に広く採用されているが、個人用アプリケーションのための、消費者が手軽で使いやすいソリューションはまだ成熟していない。
単眼カメラと慣性測定装置(IMU)の混合物を日常の正確なマルチモーダルモーションキャプチャーに利用するために,INertial と visION Sensors から収集した大規模モーションキャプチャーデータセット MINIONS をコントリビュートする。
MINIONSにはいくつかの特徴がある。
1)500万フレーム以上400分間の大規模なスケール。
2) 関節位置, 関節回転, SMPLパラメータ等をラベル付けしたIMU信号とRGBビデオのマルチモーダルデータ。
;
3) テキスト記述を用いた細粒度146の対話的アクションの多種多様なセット。
提案したMINIONSを用いて,マルチモーダルモーションキャプチャの実験を行い,モノクラーカメラと極めて少ないIMUを用いたコンシューマー向けモーションキャプチャの可能性を探る。
実験結果は、慣性・視覚センサーの独特な利点を強調し、消費者が使用可能なマルチモーダルモーションキャプチャーの可能性を示し、さらなる研究と開発のための貴重な資源を提供する。
関連論文リスト
- MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。
私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
論文 参考訳（メタデータ） (2024-10-17T17:31:24Z) - Large Motion Model for Unified Multi-Modal Motion Generation [50.56268006354396]
Large Motion Model (LMM) は、動き中心のマルチモーダルフレームワークであり、メインストリームのモーション生成タスクをジェネラリストモデルに統合する。
LMMは3つの原則的な側面からこれらの課題に取り組む。
論文 参考訳（メタデータ） (2024-04-01T17:55:11Z) - RELI11D: A Comprehensive Multimodal Human Motion Dataset and Method [44.670169033884896]
本稿では、LiDAR、IMUシステム、RGBカメラ、イベントカメラを含む高品質なマルチモーダルヒューマンモーションデータセットRELI11Dを提案する。
3.32時間の同期したLiDAR点雲、IMU計測データ、RGBビデオ、イベントスチームを含む7つのシーンで5つのスポーツを行う10人の俳優の動きを記録している。
そこで我々は,LiDAR Point Cloud, Event Stream, RGBを効果的に活用するマルチモーダルベースラインであるLEIRを提案する。
論文 参考訳（メタデータ） (2024-03-28T15:31:36Z) - Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera [10.055317239956423]
本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。
われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。
論文 参考訳（メタデータ） (2024-01-01T18:56:54Z) - I'M HOI: Inertia-aware Monocular Capture of 3D Human-Object Interactions [42.87514729260336]
イムホイ(I'm-HOI)は、人間と物体の両方の3Dの動きを、新しい環境で忠実に捉えようとするモノクラースキームである。
一般的な動き推論とカテゴリー認識の洗練を兼ね備えている。
私たちのデータセットとコードはコミュニティにリリースされます。
論文 参考訳（メタデータ） (2023-12-10T08:25:41Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling [83.57675975092496]
HuMManは、1000人の被験者、400kシーケンス、60Mフレームからなる大規模なマルチモーダル4Dデータセットである。
1)カラーイメージ、ポイントクラウド、キーポイント、SMPLパラメータ、テクスチャメッシュを含むマルチモーダルデータとアノテーション。
論文 参考訳（メタデータ） (2022-04-28T17:54:25Z) - Sensor-Augmented Egocentric-Video Captioning with Dynamic Modal
Attention [0.9668407688201357]
センサを付加したエゴセントリック・ビデオキャプションの新しい課題を提案する。
我々は、ウェアラブルセンサーデータを補助情報として利用し、自我中心視における固有の問題を緩和する。
論文 参考訳（メタデータ） (2021-09-07T09:22:09Z) - ChallenCap: Monocular 3D Capture of Challenging Human Performances using
Multi-Modal References [18.327101908143113]
今回提案するChallenCapは、単一のRGBカメラで難しい3D人間の動きをキャプチャするテンプレートベースのアプローチです。
我々は,マルチモーダル参照を用いた新しい学習・最適化フレームワークを採用する。
我々の新しい挑戦運動データセットの実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。
論文 参考訳（メタデータ） (2021-03-11T15:49:22Z) - Asynchronous Multi-View SLAM [78.49842639404413]
既存のマルチカメラSLAMシステムは、すべてのカメラの同期シャッターを想定しています。
我々のフレームワークは、トラッキング、ローカルマッピング、ループクローズの間、非同期多フレーム間で情報を関連付けるために、連続時間モーションモデルを統合する。
論文 参考訳（メタデータ） (2021-01-17T00:50:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。