論文の概要: AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion
Sensing
- arxiv url: http://arxiv.org/abs/2207.13784v1
- Date: Wed, 27 Jul 2022 20:52:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-29 12:11:57.723529
- Title: AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion
Sensing
- Title（参考訳）: AvatarPoser:スパースモーションセンシングによるフルボディポーズ追跡
- Authors: Jiaxi Jiang, Paul Streli, Huajian Qiu, Andreas Fender, Larissa Laich,
Patrick Snape, Christian Holz
- Abstract要約: AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。
提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。
我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
- 参考スコア（独自算出の注目度）: 24.053096294334694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Today's Mixed Reality head-mounted displays track the user's head pose in
world space as well as the user's hands for interaction in both Augmented
Reality and Virtual Reality scenarios. While this is adequate to support user
input, it unfortunately limits users' virtual representations to just their
upper bodies. Current systems thus resort to floating avatars, whose limitation
is particularly evident in collaborative settings. To estimate full-body poses
from the sparse input sources, prior work has incorporated additional trackers
and sensors at the pelvis or lower body, which increases setup complexity and
limits practical application in mobile settings. In this paper, we present
AvatarPoser, the first learning-based method that predicts full-body poses in
world coordinates using only motion input from the user's head and hands. Our
method builds on a Transformer encoder to extract deep features from the input
signals and decouples global motion from the learned local joint orientations
to guide pose estimation. To obtain accurate full-body motions that resemble
motion capture animations, we refine the arm joints' positions using an
optimization routine with inverse kinematics to match the original tracking
input. In our evaluation, AvatarPoser achieved new state-of-the-art results in
evaluations on large motion capture datasets (AMASS). At the same time, our
method's inference speed supports real-time operation, providing a practical
interface to support holistic avatar control and representation for Metaverse
applications.
- Abstract（参考訳）: 今日のMixed Realityヘッドマウントディスプレイは、Augmented RealityとVirtual Realityの両方のシナリオで対話するためのユーザの手だけでなく、世界のユーザの頭ポーズを追跡する。
これはユーザー入力をサポートするのに適しているが、残念ながらユーザーの仮想表現を上半身だけに制限する。
そのため、現在のシステムは、特に協調的な環境での制限が顕著である浮体アバターに頼っている。
スパース入力源から全身のポーズを推定するために、以前の研究では骨盤または下肢にトラッカーとセンサーが組み込まれており、セットアップの複雑さが増大し、モバイル環境における実用的な応用が制限された。
本稿では,ユーザの頭と手から入力された動作のみを用いて,世界座標における全身ポーズを予測する最初の学習ベース手法であるavatarposerを提案する。
提案手法はトランスフォーマーエンコーダを用いて入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離し,ポーズ推定をガイドする。
モーションキャプチャーアニメーションに類似した正確な全体動作を得るために,逆運動学を用いた最適化ルーチンを用いて腕関節の位置を改良し,元のトラッキング入力と一致させる。
本評価では,大規模モーションキャプチャデータセット (amass) の評価において,新たな最先端結果を得た。
同時に,提案手法の推論速度はリアルタイム操作をサポートし,メタバースアプリケーションの全体的アバター制御と表現をサポートする実用的なインタフェースを提供する。
関連論文リスト
- Real-Time Simulated Avatar from Head-Mounted Sensors [70.41580295721525]
我々はAR/VRヘッドセットから得られた情報(ヘッドセットポーズとカメラ)からシミュレーションアバターを制御するSimXRを提案する。
カメラでヘッドセットのポーズを合成するために、人型ロボットを制御してヘッドセットの動きをトラッキングし、入力画像を分析して身体の動きを決定する。
体の一部が見えると、手足の動きは画像によって案内され、見えない場合は物理法則が制御器を誘導して可塑性運動を発生させる。
論文 参考訳（メタデータ） (2024-03-11T16:15:51Z) - SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data [1.494051815405093]
SparsePoserは、スパースデータから全身のポーズを再構築するための、新しいディープラーニングベースのソリューションである。
このシステムには、高品質な連続した人間のポーズを合成する畳み込み型オートエンコーダが組み込まれている。
本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T18:48:01Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - MOVIN: Real-time Motion Capture using a Single LiDAR [7.3228874258537875]
我々は,グローバルトラッキングを用いたリアルタイムモーションキャプチャのためのデータ駆動生成法MOVINを提案する。
本フレームワークは,パフォーマーの3次元グローバル情報と局所的な関節の詳細を正確に予測する。
実世界のシナリオでメソッドをデモするために,リアルタイムアプリケーションを実装した。
論文 参考訳（メタデータ） (2023-09-17T16:04:15Z) - Utilizing Task-Generic Motion Prior to Recover Full-Body Motion from
Very Sparse Signals [3.8079353598215757]
本稿では,再建したユーザの動作の精度を向上させるために,神経動作からの情報を利用する手法を提案する。
これは、ポーズ復元の最終的な目標は一連のポーズである動きを再構築することである、という前提に基づいている。
論文 参考訳（メタデータ） (2023-08-30T08:21:52Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using
Inertial Sensing [25.34222794274071]
HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。
単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。
我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
論文 参考訳（メタデータ） (2023-03-13T11:25:32Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。
本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-20T09:28:16Z) - Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文 参考訳（メタデータ） (2021-03-31T17:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。