論文の概要: QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars

• arxiv url: http://arxiv.org/abs/2209.09391v1
• Date: Tue, 20 Sep 2022 00:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 19:12:32.057976
• Title: QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars
• Title（参考訳）: QuestSim:シミュレーションアバターによるスパースセンサーからの人間のモーショントラッキング
• Authors: Alexander Winkler, Jungdam Won, Yuting Ye
• Abstract要約: 人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 80.05743236282564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time tracking of human body motion is crucial for interactive and immersive experiences in AR/VR. However, very limited sensor data about the body is available from standalone wearable devices such as HMDs (Head Mounted Devices) or AR glasses. In this work, we present a reinforcement learning framework that takes in sparse signals from an HMD and two controllers, and simulates plausible and physically valid full body motions. Using high quality full body motion as dense supervision during training, a simple policy network can learn to output appropriate torques for the character to balance, walk, and jog, while closely following the input signals. Our results demonstrate surprisingly similar leg motions to ground truth without any observations of the lower body, even when the input is only the 6D transformations of the HMD. We also show that a single policy can be robust to diverse locomotion styles, different body sizes, and novel environments.
• Abstract（参考訳）: 人体の動きのリアルタイム追跡は、AR/VRにおけるインタラクティブで没入的な体験に不可欠である。 しかし、身体に関する非常に限られたセンサーデータは、HMD(Head Mounted Devices)やARグラスのようなスタンドアロンのウェアラブルデバイスから利用できる。 そこで本研究では,hmdと2つのコントローラからのスパース信号を取り込んで,実用的かつ物理的に有効な全身動作をシミュレートする強化学習フレームワークを提案する。 訓練中、質の高い全身運動を密集した監督として使用することで、単純なポリシーネットワークは、入力信号に忠実に追従しながら、キャラクタのバランス、歩行、ジョギングに適切なトルクを出力することができる。 以上の結果から,HMDの6次元変換のみの入力であっても,下肢の観察を行なわずに,下肢の動きに驚くほどよく似ていることが示された。 また、1つのポリシーが多様なロコモーションスタイル、異なるボディサイズ、そして新しい環境に対して堅牢であることも示しています。

関連論文リスト

• Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots [13.229028132036321]
  Masked Humanoid Controller (MHC)は、立位、歩行、体の一部の動きの模倣をサポートする。 MHCは、立ち上がり、歩行、最適化された基準軌跡、再ターゲットされたビデオクリップ、人間のモーションキャプチャーデータにまたがる行動のライブラリから、部分的にマスクされた動きを模倣する。 実世界のDigi V3ヒューマノイドロボット上でのシミュレート・トゥ・リアルトランスファーを実演する。
  論文  参考訳（メタデータ） (2024-07-30T09:10:24Z)
• Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
  我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。 カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。 体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
  論文  参考訳（メタデータ） (2024-03-11T16:15:51Z)
• DivaTrack: Diverse Bodies and Motions from Acceleration-Enhanced Three-Point Trackers [13.258923087528354]
  フルボディアバターの存在は、デジタルリアリティーにおける没入型社会と環境の相互作用に不可欠である。 現在のデバイスは、ヘッドセットと2つのコントローラーから3度の自由度(DOF)のポーズしか提供していない。 本研究では,多様な身体サイズや活動に適用した場合に,既存の手法よりも優れたディープラーニングフレームワークであるDivaTrackを提案する。
  論文  参考訳（メタデータ） (2024-02-14T14:46:03Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations [7.096701481970196]
  ヘッドマウントデバイス(Head-Mounted Devices, HMD)は、通常、頭や手などの入力信号のみを提供する。 本研究は,手の一部しか見えなくても,可塑性かつ高精度な全身運動生成を実現する,最初の統一的アプローチであるHMD-NeMoを提案する。
  論文  参考訳（メタデータ） (2023-08-22T08:07:12Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors [69.75711933065378]
  ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
  論文  参考訳（メタデータ） (2023-06-09T04:40:38Z)
• Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model [18.139630622759636]
  本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。 我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。 一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
  論文  参考訳（メタデータ） (2023-04-17T19:35:13Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。