論文の概要: HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable Sparse Observations

• arxiv url: http://arxiv.org/abs/2403.03561v1
• Date: Wed, 6 Mar 2024 09:10:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:32:56.670303
• Title: HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable Sparse Observations
• Title（参考訳）: HMD-Poser:スケーラブルスパース観測によるオンデバイスリアルタイム人の動き追跡
• Authors: Peng Dai, Yang Zhang, Tao Liu, Zhen Fan, Tianyuan Du, Zhuo Su, Xiaozheng Zheng, Zeming Li
• Abstract要約: HMDとIMUのスケーラブルなスパース観測により全身運動を復元する最初の統一的アプローチであるHMD-Poserを提案する。 HMD-Poserでは,そのモデルがリアルタイムにHMD上で動作することを保証するために,軽量な時空間特徴学習ネットワークを提案する。 AMASSデータセットの大規模な実験結果から、HMD-Poserは、精度とリアルタイムのパフォーマンスの両方において、新しい最先端の結果を達成することが示された。
• 参考スコア（独自算出の注目度）: 28.452132601844717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is especially challenging to achieve real-time human motion tracking on a standalone VR Head-Mounted Display (HMD) such as Meta Quest and PICO. In this paper, we propose HMD-Poser, the first unified approach to recover full-body motions using scalable sparse observations from HMD and body-worn IMUs. In particular, it can support a variety of input scenarios, such as HMD, HMD+2IMUs, HMD+3IMUs, etc. The scalability of inputs may accommodate users' choices for both high tracking accuracy and easy-to-wear. A lightweight temporal-spatial feature learning network is proposed in HMD-Poser to guarantee that the model runs in real-time on HMDs. Furthermore, HMD-Poser presents online body shape estimation to improve the position accuracy of body joints. Extensive experimental results on the challenging AMASS dataset show that HMD-Poser achieves new state-of-the-art results in both accuracy and real-time performance. We also build a new free-dancing motion dataset to evaluate HMD-Poser's on-device performance and investigate the performance gap between synthetic data and real-captured sensor data. Finally, we demonstrate our HMD-Poser with a real-time Avatar-driving application on a commercial HMD. Our code and free-dancing motion dataset are available https://pico-ai-team.github.io/hmd-poser
• Abstract（参考訳）: Meta QuestやPICOのようなスタンドアロンのVRヘッドマウントディスプレイ(HMD)でリアルタイムの人間のモーショントラッキングを実現することは特に困難である。 本稿では,HMD と IMU からのスケーラブルなスパース観測により全身運動を復元する最初の統一的アプローチである HMD-Poser を提案する。 特に、HMD、HMD+2IMUs、HMD+3IMUsなど、さまざまな入力シナリオをサポートすることができる。 入力のスケーラビリティは、高いトラッキング精度と使いやすさの両方において、ユーザの選択に適合する可能性がある。 HMD-Poser では,HMD 上でリアルタイムに動作することを保証するために,軽量な時空間特徴学習ネットワークを提案する。 さらに、HMD-Poserは、オンラインの体形推定を行い、体節の位置精度を向上させる。 AMASSデータセットの大規模な実験結果から、HMD-Poserは、精度とリアルタイムのパフォーマンスの両方において、新しい最先端の結果を達成することが示された。 また,hmd-poserのオンデバイス性能を評価するための新しい自由分散モーションデータセットを構築し,合成データと実取得センサデータの性能差について検討した。 最後に、HMD-Poserを商用HMD上でリアルタイムなアバター駆動アプリケーションで実演する。 私たちのコードとフリーダンスモーションデータセットはhttps://pico-ai-team.github.io/hmd-poserで利用可能です。

関連論文リスト

• EMHI: A Multimodal Egocentric Human Motion Dataset with HMD and Body-Worn IMUs [17.864281586189392]
  ウェアラブルセンサを用いた人間中心のポーズ推定(HPE)はVR/ARアプリケーションに不可欠である。 ほとんどの手法は、エゴセントリック・ビュー・イメージまたはスパース慣性測定ユニット(IMU)信号にのみ依存する。 マルチモーダルなtextbfEgocentric human textbfMotion データセットである textbfHead-Mounted Display (HMD) と body-worn textbfIMU を提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:12:13Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations [7.096701481970196]
  ヘッドマウントデバイス(Head-Mounted Devices, HMD)は、通常、頭や手などの入力信号のみを提供する。 本研究は,手の一部しか見えなくても,可塑性かつ高精度な全身運動生成を実現する,最初の統一的アプローチであるHMD-NeMoを提案する。
  論文  参考訳（メタデータ） (2023-08-22T08:07:12Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• Stochastic-HMDs: Adversarial Resilient Hardware Malware Detectors through Voltage Over-scaling [3.5803801804085347]
  機械学習ベースのハードウェアマルウェアディテクタ(HMD)は、マルウェアからシステムを守るための潜在的なゲーム変更の優位性を提供します。 HMDは敵の攻撃に悩まされ、効果的にリバースエンジニアリングされ、その後回避され、マルウェアが検出から隠れることができる。 本稿では,HMDの対向回避攻撃に対する耐性を高めるため,近似計算による新しいHMD(Stochastic-HMD)を提案する。
  論文  参考訳（メタデータ） (2021-03-11T20:18:40Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors [49.49841698372575]
  光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術のひとつです。 我々は,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を提供する,新しいコンセプトとプロトタイプシステムを提案する。 我々のシステムでは、まず第一に、HMDに取り付けられたRGBDカメラを用いて鏡によって生成された仮想画像中のユーザのポーズを推定し、仮想オブジェクトを反射に固定する。
  論文  参考訳（メタデータ） (2020-07-06T16:53:47Z)
• Gaze-Sensing LEDs for Head Mounted Displays [73.88424800314634]
  仮想現実(VR)アプリケーションのための低消費電力の視線トラッカーを作成するために,LEDのセンサ機能を利用する。 我々は,視線推定法が複雑な次元削減技術を必要としないことを示した。
  論文  参考訳（メタデータ） (2020-03-18T23:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。