論文の概要: DivaTrack: Diverse Bodies and Motions from Acceleration-Enhanced
Three-Point Trackers
- arxiv url: http://arxiv.org/abs/2402.09211v1
- Date: Wed, 14 Feb 2024 14:46:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 15:07:52.823296
- Title: DivaTrack: Diverse Bodies and Motions from Acceleration-Enhanced
Three-Point Trackers
- Title（参考訳）: DivaTrack:加速度強化三点追跡器の異方体と運動
- Authors: Dongseok Yang, Jiho Kang, Lingni Ma, Joseph Greer, Yuting Ye and
Sung-Hee Lee
- Abstract要約: フルボディアバターの存在は、デジタルリアリティーにおける没入型社会と環境の相互作用に不可欠である。
現在のデバイスは、ヘッドセットと2つのコントローラーから3度の自由度(DOF)のポーズしか提供していない。
本研究では,多様な身体サイズや活動に適用した場合に,既存の手法よりも優れたディープラーニングフレームワークであるDivaTrackを提案する。
- 参考スコア（独自算出の注目度）: 13.258923087528354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Full-body avatar presence is crucial for immersive social and environmental
interactions in digital reality. However, current devices only provide three
six degrees of freedom (DOF) poses from the headset and two controllers (i.e.
three-point trackers). Because it is a highly under-constrained problem,
inferring full-body pose from these inputs is challenging, especially when
supporting the full range of body proportions and use cases represented by the
general population. In this paper, we propose a deep learning framework,
DivaTrack, which outperforms existing methods when applied to diverse body
sizes and activities. We augment the sparse three-point inputs with linear
accelerations from Inertial Measurement Units (IMU) to improve foot contact
prediction. We then condition the otherwise ambiguous lower-body pose with the
predictions of foot contact and upper-body pose in a two-stage model. We
further stabilize the inferred full-body pose in a wide range of configurations
by learning to blend predictions that are computed in two reference frames,
each of which is designed for different types of motions. We demonstrate the
effectiveness of our design on a large dataset that captures 22 subjects
performing challenging locomotion for three-point tracking, including lunges,
hula-hooping, and sitting. As shown in a live demo using the Meta VR headset
and Xsens IMUs, our method runs in real-time while accurately tracking a user's
motion when they perform a diverse set of movements.
- Abstract（参考訳）: 全身アバターの存在は、デジタルリアリティーにおける没入的社会的および環境的相互作用に不可欠である。
しかし、現在のデバイスはヘッドセットから3つの6自由度(DOF)ポーズと2つのコントローラー(すなわち3点トラッカー)しか提供していない。
非常に制約の少ない問題であるため、特に全身の比率と一般人口に代表されるユースケースを支持する場合、これらの入力から全身のポーズを推測することは困難である。
本稿では,多様な身体サイズや活動に適用した場合に,既存の手法よりも優れたディープラーニングフレームワークであるDivaTrackを提案する。
Inertial Measurement Units (IMU) からの線形加速度によるスパース3点入力を増強し、足の接触予測を改善する。
次に,二段階モデルにおいて足の接触や上半身のポーズを予測して,曖昧でない下半身ポーズを条件とする。
さらに、2つの参照フレームで計算される予測をブレンドすることを学ぶことで、幅広い構成で推測された全体ポーズを安定化させ、それぞれ異なるタイプの動きに設計する。
肺, フラフープ, 座位などの3点追跡に挑戦する22名の被験者を対象とする大規模データセット上で, 設計の有効性を実証した。
Meta VRヘッドセットとXsens IMUを用いたライブデモで示すように、当社の手法はリアルタイムに動作し、多様な動作を行うユーザの動きを正確に追跡する。
関連論文リスト
- Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Realistic Full-Body Tracking from Sparse Observations via Joint-Level
Modeling [13.284947022380404]
頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。
本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。
AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
論文 参考訳（メタデータ） (2023-08-17T08:27:55Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking
Inputs with Diffusion Model [18.139630622759636]
本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。
我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。
一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
論文 参考訳（メタデータ） (2023-04-17T19:35:13Z) - An Effective Motion-Centric Paradigm for 3D Single Object Tracking in
Point Clouds [50.19288542498838]
LiDARポイントクラウド(LiDAR SOT)における3Dシングルオブジェクトトラッキングは、自動運転において重要な役割を果たす。
現在のアプローチはすべて、外観マッチングに基づくシームズパラダイムに従っている。
我々は新たな視点からLiDAR SOTを扱うための動き中心のパラダイムを導入する。
論文 参考訳（メタデータ） (2023-03-21T17:28:44Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single
Object Tracking in Point Clouds [39.41305358466479]
LiDARポイントクラウドにおける3Dオブジェクトトラッキングは、自動運転において重要な役割を果たす。
現在のアプローチはすべて、外観マッチングに基づくシームズパラダイムに従っている。
新しい視点から3D SOTを扱うための動き中心のパラダイムを導入する。
論文 参考訳（メタデータ） (2022-03-03T14:20:10Z) - Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。
人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。
様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文 参考訳（メタデータ） (2021-05-03T17:57:07Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。