論文の概要: MotionPRO: Exploring the Role of Pressure in Human MoCap and Beyond
- arxiv url: http://arxiv.org/abs/2504.05046v1
- Date: Mon, 07 Apr 2025 13:17:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:11:05.300066
- Title: MotionPRO: Exploring the Role of Pressure in Human MoCap and Beyond
- Title（参考訳）: MotionPRO: MoCap以降における圧力の役割を探る
- Authors: Shenghao Ren, Yi Lu, Jiayi Huang, Jiayi Zhao, He Zhang, Tao Yu, Qiu Shen, Xun Cao,
- Abstract要約: 既存のモーションキャプチャー(MoCap)手法は、物理的妥当性を無視しながら視覚的類似性に焦点を当てている。
本稿では,人体と物理的世界との相互作用の観点から,圧力の役割を探求することによって人間のMoCapを再考する。
実験により、RGB機能による融合圧力は、客観的な測定値において性能を著しく向上するだけでなく、仮想人間を3Dシーンで確実に駆動することを示した。
- 参考スコア（独自算出の注目度）: 24.84558649772663
- License:
- Abstract: Existing human Motion Capture (MoCap) methods mostly focus on the visual similarity while neglecting the physical plausibility. As a result, downstream tasks such as driving virtual human in 3D scene or humanoid robots in real world suffer from issues such as timing drift and jitter, spatial problems like sliding and penetration, and poor global trajectory accuracy. In this paper, we revisit human MoCap from the perspective of interaction between human body and physical world by exploring the role of pressure. Firstly, we construct a large-scale human Motion capture dataset with Pressure, RGB and Optical sensors (named MotionPRO), which comprises 70 volunteers performing 400 types of motion, encompassing a total of 12.4M pose frames. Secondly, we examine both the necessity and effectiveness of the pressure signal through two challenging tasks: (1) pose and trajectory estimation based solely on pressure: We propose a network that incorporates a small kernel decoder and a long-short-term attention module, and proof that pressure could provide accurate global trajectory and plausible lower body pose. (2) pose and trajectory estimation by fusing pressure and RGB: We impose constraints on orthographic similarity along the camera axis and whole-body contact along the vertical axis to enhance the cross-attention strategy to fuse pressure and RGB feature maps. Experiments demonstrate that fusing pressure with RGB features not only significantly improves performance in terms of objective metrics, but also plausibly drives virtual humans (SMPL) in 3D scene. Furthermore, we demonstrate that incorporating physical perception enables humanoid robots to perform more precise and stable actions, which is highly beneficial for the development of embodied artificial intelligence. Project page is available at: https://nju-cite-mocaphumanoid.github.io/MotionPRO/
- Abstract（参考訳）: 既存のモーションキャプチャー(MoCap)手法は、物理的妥当性を無視しながら視覚的類似性に焦点を当てている。
その結果、3Dシーンでの仮想人間運転や、リアルタイムのヒューマノイドロボットなどの下流タスクは、タイミングドリフトやジッタ、スライディングや浸透といった空間問題、グローバルな軌道精度の低下といった問題に悩まされている。
本稿では,人体と物理的世界との相互作用の観点から,圧力の役割を探求することによって人間のMoCapを再考する。
まず、圧力、RGB、光学センサー(MotionPRO)を備えた大規模人間のモーションキャプチャーデータセットを構築し、合計12.4Mのポーズフレームを含む400種類のモーションを行う70人のボランティアからなる。
第2に,圧力信号の必要性と有効性について,(1)圧力のみに基づくポーズと軌跡推定の両面から検討する。我々は,小型カーネルデコーダと長期アテンションモジュールを組み込んだネットワークを提案し,圧力が正確なグローバルな軌跡と妥当な下半身ポーズを提供することを示す。
2) フラクション圧力とRGBによる姿勢・軌跡推定: 垂直軸に沿ったカメラ軸と全身接触の整形的類似性に制約を課し, 圧力とRGB特徴写像を融合させるクロスアテンション戦略を強化する。
実験により、RGB機能による融合圧力は、客観的な測定値において性能を著しく向上するだけでなく、仮想人間(SMPL)を3Dシーンで確実に駆動することを示した。
さらに,身体的知覚を取り入れることで,ヒューマノイドロボットがより正確で安定した動作を行えることが実証された。
プロジェクトページは、https://nju-cite-mocap Humanoid.github.io/MotionPRO/で公開されている。
関連論文リスト
- Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs [15.017274891943162]
モノクロビデオからの時間的3Dポーズ推定は、人間中心のコンピュータビジョンにおいて難しい課題である。
情報ソースを補完するために慣性センサが導入された。
物理的に合理的な3Dポーズを生成するために、異種センサデータを統合することは依然として困難である。
論文 参考訳（メタデータ） (2024-04-27T09:02:42Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - 6N-DoF Pose Tracking for Tensegrity Robots [5.398092221687385]
引張ロボットは剛性圧縮要素(ロッド)と柔軟な引張要素(ケーブルなど)から構成される
この研究は、マーカーのない視覚に基づく方法で、緊張するロボットのポーズトラッキングに対処することを目的としている。
RGB-Dビデオから張力ロボットの各剛体要素の6-DoFポーズを反復的に推定するプロセスを提案する。
論文 参考訳（メタデータ） (2022-05-29T20:55:29Z) - Gravity-Aware Monocular 3D Human-Object Reconstruction [73.25185274561139]
本稿では,共同マーカーレス3次元モーションキャプチャとモノクロRGB映像からの物体軌跡推定のための新しい手法を提案する。
自由飛行中に部分的に観察された物体を含むシーンに焦点を当てた。
実験では, 各種計測値を用いた3次元モーションキャプチャにおいて, 最先端の精度を実現する。
論文 参考訳（メタデータ） (2021-08-19T17:59:57Z) - Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。
人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。
様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文 参考訳（メタデータ） (2021-05-03T17:57:07Z) - Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文 参考訳（メタデータ） (2021-03-31T17:58:31Z) - PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。
しかし、これは非常に困難な問題であり、深刻な問題である。
我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
論文 参考訳（メタデータ） (2020-08-20T10:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。