論文の概要: XR-MBT: Multi-modal Full Body Tracking for XR through Self-Supervision with Learned Depth Point Cloud Registration

• arxiv url: http://arxiv.org/abs/2411.18377v1
• Date: Wed, 27 Nov 2024 14:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:47.505138
• Title: XR-MBT: Multi-modal Full Body Tracking for XR through Self-Supervision with Learned Depth Point Cloud Registration
• Title（参考訳）: XR-MBT:学習深度クラウド登録による自己スーパービジョンによるXRのためのマルチモーダルフルボディトラッキング
• Authors: Denys Rozumnyi, Nadine Bertsch, Othman Sbai, Filippo Arcadu, Yuhua Chen, Artsiom Sanakoyeu, Manoj Kumar, Catherine Herold, Robin Kips,
• Abstract要約: XR-MBTはXRの脚を初めて追跡するが、部分的な身体追跡に基づく従来の合成アプローチは盲目である。 本稿では,現在の3点運動合成モデルがどのようにして雲のモーダル性に拡張できるかを示す。
• 参考スコア（独自算出の注目度）: 19.874691210555472
• License:
• Abstract: Tracking the full body motions of users in XR (AR/VR) devices is a fundamental challenge to bring a sense of authentic social presence. Due to the absence of dedicated leg sensors, currently available body tracking methods adopt a synthesis approach to generate plausible motions given a 3-point signal from the head and controller tracking. In order to enable mixed reality features, modern XR devices are capable of estimating depth information of the headset surroundings using available sensors combined with dedicated machine learning models. Such egocentric depth sensing cannot drive the body directly, as it is not registered and is incomplete due to limited field-of-view and body self-occlusions. For the first time, we propose to leverage the available depth sensing signal combined with self-supervision to learn a multi-modal pose estimation model capable of tracking full body motions in real time on XR devices. We demonstrate how current 3-point motion synthesis models can be extended to point cloud modalities using a semantic point cloud encoder network combined with a residual network for multi-modal pose estimation. These modules are trained jointly in a self-supervised way, leveraging a combination of real unregistered point clouds and simulated data obtained from motion capture. We compare our approach against several state-of-the-art systems for XR body tracking and show that our method accurately tracks a diverse range of body motions. XR-MBT tracks legs in XR for the first time, whereas traditional synthesis approaches based on partial body tracking are blind.
• Abstract（参考訳）: XR(AR/VR)デバイスでユーザーの全身の動きを追跡することは、真の社会的存在感をもたらすための根本的な課題である。 専用の脚センサーがないため、現在入手可能な身体追跡法では、頭部から3点の信号とコントローラーのトラッキングが与えられたときに、可塑性運動を生成するための合成手法を採用している。 複合現実感を実現するために、現代のXRデバイスは、専用の機械学習モデルと組み合わせて利用可能なセンサーを用いて、ヘッドセットを取り巻く深度情報を推定することができる。 このような自我中心の深度感知は、登録されておらず、視野の制限と身体の自己閉塞のために不完全であるため、直接身体を駆動することはできない。 XRデバイス上での全身の動きをリアルタイムに追跡できるマルチモーダルポーズ推定モデルを学習するために、自己超越と組み合わせて利用可能な奥行き検出信号を活用することを提案する。 本研究では,従来の3点運動合成モデルを用いて,マルチモーダルポーズ推定のための残差ネットワークとセマンティックポイントクラウドエンコーダネットワークを用いて,現在の3点運動合成モデルをどのように拡張するかを示す。 これらのモジュールは、実際の未登録の点雲とモーションキャプチャーから得られたシミュレーションデータの組み合わせを利用して、自己管理的な方法で共同で訓練される。 我々は、XR体追跡のための最先端システムに対するアプローチを比較し、この手法が身体の動きの多様な範囲を正確に追跡することを示す。 XR-MBTはXRの脚を初めて追跡するが、部分的な身体追跡に基づく従来の合成アプローチは盲目である。

関連論文リスト

• Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling [13.284947022380404]
  頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。 本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。 AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-08-17T08:27:55Z)
• Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model [18.139630622759636]
  本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。 我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。 一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
  論文  参考訳（メタデータ） (2023-04-17T19:35:13Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
  自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。 提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。 私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
  論文  参考訳（メタデータ） (2022-04-25T08:42:47Z)
• A Lightweight and Detector-free 3D Single Object Tracker on Point Clouds [50.54083964183614]
  生のLiDARスキャンにおける物体の点雲は、通常スパースで不完全であるため、正確な目標固有検出を行うのは簡単ではない。 DMTは、複雑な3D検出器の使用を完全に除去する3Dトラッキングネットワークである。
  論文  参考訳（メタデータ） (2022-03-08T17:49:07Z)
• Exploring Simple 3D Multi-Object Tracking for Autonomous Driving [10.921208239968827]
  LiDARポイントクラウドにおける3Dマルチオブジェクトトラッキングは、自動運転車にとって重要な要素である。 既存の手法は、主にトラッキング・バイ・検出パイプラインに基づいており、検出アソシエーションのマッチングステップが必然的に必要である。 我々は,手作りの追跡パラダイムをシンプルにするために,原点雲からの共同検出と追跡のためのエンドツーエンドのトレーニング可能なモデルを提案する。
  論文  参考訳（メタデータ） (2021-08-23T17:59:22Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Unified Multi-Modal Landmark Tracking for Tightly Coupled Lidar-Visual-Inertial Odometry [5.131684964386192]
  視覚,ライダー,慣性情報を協調的に最適化するモバイルプラットフォームのための効率的なマルチセンサ・オドメトリーシステムを提案する。 ライダー点雲から3次元線と平面原始体を抽出する新しい手法を提案する。 システムは、脚のあるロボットによる地下探査や、動的に動くハンドヘルドデバイスによる屋外スキャンなど、さまざまなプラットフォームやシナリオでテストされてきた。
  論文  参考訳（メタデータ） (2020-11-13T09:54:03Z)
• UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
  本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。 まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。 次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
  論文  参考訳（メタデータ） (2020-11-12T09:31:09Z)
• Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception Proposal [87.11988786121447]
  本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。 このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。 自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
  論文  参考訳（メタデータ） (2020-08-21T20:36:21Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。