論文の概要: Real-Time Simulated Avatar from Head-Mounted Sensors

• arxiv url: http://arxiv.org/abs/2403.06862v2
• Date: Wed, 24 Apr 2024 19:36:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 23:27:32.629829
• Title: Real-Time Simulated Avatar from Head-Mounted Sensors
• Title（参考訳）: ヘッドマウントセンサを用いた実時間シミュレーションアバター
• Authors: Zhengyi Luo, Jinkun Cao, Rawal Khirodkar, Alexander Winkler, Jing Huang, Kris Kitani, Weipeng Xu,
• Abstract要約: 我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。 カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。 体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
• 参考スコア（独自算出の注目度）: 70.41580295721525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SimXR, a method for controlling a simulated avatar from information (headset pose and cameras) obtained from AR / VR headsets. Due to the challenging viewpoint of head-mounted cameras, the human body is often clipped out of view, making traditional image-based egocentric pose estimation challenging. On the other hand, headset poses provide valuable information about overall body motion, but lack fine-grained details about the hands and feet. To synergize headset poses with cameras, we control a humanoid to track headset movement while analyzing input images to decide body movement. When body parts are seen, the movements of hands and feet will be guided by the images; when unseen, the laws of physics guide the controller to generate plausible motion. We design an end-to-end method that does not rely on any intermediate representations and learns to directly map from images and headset poses to humanoid control signals. To train our method, we also propose a large-scale synthetic dataset created using camera configurations compatible with a commercially available VR headset (Quest 2) and show promising results on real-world captures. To demonstrate the applicability of our framework, we also test it on an AR headset with a forward-facing camera.
• Abstract（参考訳）: 我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。 ヘッドマウントカメラの難易度のため、人間の体は視界から切り離され、従来の画像に基づく自我中心のポーズ推定が困難になる。 一方、ヘッドセットのポーズは全身の動きに関する貴重な情報を提供するが、手や足の詳細は明らかになっていない。 カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。 体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。 我々は,中間表現に依存しないエンドツーエンドの手法を設計し,画像やヘッドセットのポーズから直接ヒューマノイド制御信号にマップする方法を学習する。 また,市販のVRヘッドセット(Quest 2)と互換性のあるカメラ構成を用いて作成した大規模合成データセットを提案する。 フレームワークの適用性を実証するため、前方カメラを備えたARヘッドセットでもテストしています。

関連論文リスト

• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• VR Facial Animation for Immersive Telepresence Avatars [25.506570225219406]
  VRヘッドセットが装着されている場合でも、顔の鮮明な視界を必要とするアプリケーションには、VR顔アニメーションが必要である。 特定の演算子に対して非常に高速な適応が可能なリアルタイム能動パイプラインを提案する。 1分以内でトレーニングできる視線追跡パイプラインを実演します。
  論文  参考訳（メタデータ） (2023-04-24T12:43:51Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• NeuralPassthrough: Learned Real-Time View Synthesis for VR [3.907767419763815]
  ステレオ一対のRGBカメラを用いたVRヘッドセットを用いて,最初の学習パススルー手法を提案し,その性能を評価する。 得られたパススルー手法は,最先端の手法に比べて画像品質が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-05T17:39:22Z)
• Egocentric Videoconferencing [86.88092499544706]
  ビデオ会議は、価値ある非言語コミュニケーションと表情の手がかりを描写するが、通常は前面カメラを必要とする。 本稿では、スマートグラスに統合可能な低コストのウェアラブルエゴセントリックカメラセットを提案する。 私たちのゴールは、古典的なビデオ通話を模倣することであり、それゆえ、私たちはこのカメラの自我中心の視点を前向きのビデオに変えます。
  論文  参考訳（メタデータ） (2021-07-07T09:49:39Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
  本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。 まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。 次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
  論文  参考訳（メタデータ） (2020-11-12T09:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。