論文の概要: HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations
- arxiv url: http://arxiv.org/abs/2308.11261v1
- Date: Tue, 22 Aug 2023 08:07:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 18:40:23.992945
- Title: HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations
- Title（参考訳）: HMD-NeMo: スパース観測によるオンライン3Dアバターモーション生成
- Authors: Sadegh Aliakbarian, Fatemeh Saleh, David Collier, Pashmina Cameron,
Darren Cosker
- Abstract要約: ヘッドマウントデバイス(Head-Mounted Devices, HMD)は、通常、頭や手などの入力信号のみを提供する。
本研究は,手の一部しか見えなくても,可塑性かつ高精度な全身運動生成を実現する,最初の統一的アプローチであるHMD-NeMoを提案する。
- 参考スコア（独自算出の注目度）: 7.096701481970196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating both plausible and accurate full body avatar motion is the key to
the quality of immersive experiences in mixed reality scenarios. Head-Mounted
Devices (HMDs) typically only provide a few input signals, such as head and
hands 6-DoF. Recently, different approaches achieved impressive performance in
generating full body motion given only head and hands signal. However, to the
best of our knowledge, all existing approaches rely on full hand visibility.
While this is the case when, e.g., using motion controllers, a considerable
proportion of mixed reality experiences do not involve motion controllers and
instead rely on egocentric hand tracking. This introduces the challenge of
partial hand visibility owing to the restricted field of view of the HMD. In
this paper, we propose the first unified approach, HMD-NeMo, that addresses
plausible and accurate full body motion generation even when the hands may be
only partially visible. HMD-NeMo is a lightweight neural network that predicts
the full body motion in an online and real-time fashion. At the heart of
HMD-NeMo is the spatio-temporal encoder with novel temporally adaptable mask
tokens that encourage plausible motion in the absence of hand observations. We
perform extensive analysis of the impact of different components in HMD-NeMo
and introduce a new state-of-the-art on AMASS dataset through our evaluation.
- Abstract（参考訳）: 実用的で正確な全身アバターの動きを生成することは、混合現実シナリオにおける没入体験の質の鍵となる。
ヘッドマウントデバイス(HMD)は、通常、頭や手などの入力信号のみを提供する。
近年,頭部と手の信号だけで全身運動を発生させる手法が注目されている。
しかしながら、私たちの知る限りでは、既存のアプローチはすべて完全な可視性に依存しています。
これは例えばモーションコントローラを使用する場合であるが、混合現実体験のかなりの割合はモーションコントローラを伴わず、エゴセントリックなハンドトラッキングに依存している。
これにより、HMDの視野が制限されているため、部分的な手視認が困難になる。
本稿では,手の一部しか見えない場合でも,可塑性かつ高精度な全身運動生成を実現する,最初の統一的アプローチであるHMD-NeMoを提案する。
HMD-NeMoは、オンラインでリアルタイムに全身の動きを予測する軽量ニューラルネットワークである。
HMD-NeMoの中心にある時空間エンコーダは、手の動きがない場合に可塑性運動を促進する新しい時間適応マスクトークンを持つ。
我々は、HMD-NeMoにおける異なるコンポーネントの影響を広範囲に分析し、評価を通じて新しい最先端のデータセットをAMASSデータセットに導入する。
関連論文リスト
- EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。
提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
論文 参考訳（メタデータ） (2024-09-22T22:50:27Z) - Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。
カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。
体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
論文 参考訳（メタデータ） (2024-03-11T16:15:51Z) - HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable
Sparse Observations [28.452132601844717]
HMDとIMUのスケーラブルなスパース観測により全身運動を復元する最初の統一的アプローチであるHMD-Poserを提案する。
HMD-Poserでは,そのモデルがリアルタイムにHMD上で動作することを保証するために,軽量な時空間特徴学習ネットワークを提案する。
AMASSデータセットの大規模な実験結果から、HMD-Poserは、精度とリアルタイムのパフォーマンスの両方において、新しい最先端の結果を達成することが示された。
論文 参考訳（メタデータ） (2024-03-06T09:10:36Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-12-27T22:35:33Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking
Inputs with Diffusion Model [18.139630622759636]
本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。
我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。
一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
論文 参考訳（メタデータ） (2023-04-17T19:35:13Z) - NeMo: 3D Neural Motion Fields from Multiple Video Instances of the Same
Action [24.67958500694608]
ニューラルモーション(NeMo)フィールドを導入し、同じアクションの一連のビデオに対して基礎となる3Dモーションを表現する。
NeMoはPenn Actionデータセットの動画を使って、スポーツの3Dモーションを復元することができる。
論文 参考訳（メタデータ） (2022-12-28T01:40:32Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - MGPSN: Motion-Guided Pseudo Siamese Network for Indoor Video Head
Detection [6.061552465738301]
動作誘導型Pseudo Siamese Network for Indoor Video Head Detection (MGPSN)を提案する。
MGPSNは画素レベルの時空間情報を統合し、モデルを誘導して効果的な頭部特徴を抽出する。
群衆のBrainwashデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-10-07T09:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。