論文の概要: SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data
- arxiv url: http://arxiv.org/abs/2311.02191v1
- Date: Fri, 3 Nov 2023 18:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 18:56:13.165902
- Title: SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data
- Title（参考訳）: SparsePoser:スパースデータによるリアルタイムフルボディ運動再構成
- Authors: Jose Luis Ponton, Haoran Yun, Andreas Aristidou, Carlos Andujar, Nuria
Pelechano
- Abstract要約: SparsePoserは、スパースデータから全身のポーズを再構築するための、新しいディープラーニングベースのソリューションである。
このシステムには、高品質な連続した人間のポーズを合成する畳み込み型オートエンコーダが組み込まれている。
本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.494051815405093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate and reliable human motion reconstruction is crucial for creating
natural interactions of full-body avatars in Virtual Reality (VR) and
entertainment applications. As the Metaverse and social applications gain
popularity, users are seeking cost-effective solutions to create full-body
animations that are comparable in quality to those produced by commercial
motion capture systems. In order to provide affordable solutions, though, it is
important to minimize the number of sensors attached to the subject's body.
Unfortunately, reconstructing the full-body pose from sparse data is a heavily
under-determined problem. Some studies that use IMU sensors face challenges in
reconstructing the pose due to positional drift and ambiguity of the poses. In
recent years, some mainstream VR systems have released 6-degree-of-freedom
(6-DoF) tracking devices providing positional and rotational information.
Nevertheless, most solutions for reconstructing full-body poses rely on
traditional inverse kinematics (IK) solutions, which often produce
non-continuous and unnatural poses. In this article, we introduce SparsePoser,
a novel deep learning-based solution for reconstructing a full-body pose from a
reduced set of six tracking devices. Our system incorporates a
convolutional-based autoencoder that synthesizes high-quality continuous human
poses by learning the human motion manifold from motion capture data. Then, we
employ a learned IK component, made of multiple lightweight feed-forward neural
networks, to adjust the hands and feet toward the corresponding trackers. We
extensively evaluate our method on publicly available motion capture datasets
and with real-time live demos. We show that our method outperforms
state-of-the-art techniques using IMU sensors or 6-DoF tracking devices, and
can be used for users with different body dimensions and proportions.
- Abstract（参考訳）: バーチャルリアリティ(VR)とエンターテイメントアプリケーションにおけるフルボディアバターの自然な相互作用を生み出すためには、正確で信頼性の高い人間のモーション再構成が不可欠である。
Metaverseやソーシャルアプリケーションが普及するにつれて、ユーザは、商用のモーションキャプチャシステムに匹敵する品質のフルボディアニメーションを作るための費用効率の高いソリューションを求めている。
しかし、安価なソリューションを提供するためには、被験者の身体に装着されるセンサーの数を最小限に抑えることが重要である。
残念なことに、スパースデータから全身のポーズを再構築することは、非常に未決定の問題である。
IMUセンサーを用いたいくつかの研究は、ポーズの位置的ドリフトとあいまいさによるポーズの再構築の課題に直面している。
近年、一部の主流VRシステムは、位置情報と回転情報を提供する6-of-freedom (6-DoF)追跡デバイスをリリースしている。
しかしながら、フルボディのポーズを再構成するほとんどの解は伝統的な逆キネマティクス(英語版)(IK)の解に依存しており、しばしば非連続的かつ不自然なポーズを生成する。
本稿では,6台の追跡装置の縮小セットから全身ポーズを再構成する深層学習型ソリューションであるsparseposerを紹介する。
本システムでは,人間のモーション多様体をモーションキャプチャデータから学習することにより,高品質な人間のポーズを合成する畳み込み型オートエンコーダを組み込んだ。
次に、複数の軽量フィードフォワードニューラルネットワークを用いて学習したIK成分を用いて、手と足を対応するトラッカーに向かって調整する。
公開モーションキャプチャデータセットとリアルタイムライブデモを用いて,提案手法を広範囲に評価した。
本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れており,身体の寸法や比率の異なるユーザに対して有効であることを示す。
関連論文リスト
- Self-Avatar Animation in Virtual Reality: Impact of Motion Signals Artifacts on the Full-Body Pose Reconstruction [13.422686350235615]
本研究の目的は,自己アバターのフルボディポーズの再現に対する影響を計測することである。
テキストYOLOv8のポーズ推定から推定した3次元動画像と3次元動画像座標を用いて動画像再構成誤差を解析する。
論文 参考訳（メタデータ） (2024-04-29T12:02:06Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Utilizing Task-Generic Motion Prior to Recover Full-Body Motion from
Very Sparse Signals [3.8079353598215757]
本稿では,再建したユーザの動作の精度を向上させるために,神経動作からの情報を利用する手法を提案する。
これは、ポーズ復元の最終的な目標は一連のポーズである動きを再構築することである、という前提に基づいている。
論文 参考訳（メタデータ） (2023-08-30T08:21:52Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳（メタデータ） (2023-07-04T21:57:05Z) - Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking
Inputs with Diffusion Model [18.139630622759636]
本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。
我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。
一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
論文 参考訳（メタデータ） (2023-04-17T19:35:13Z) - QuestSim: Human Motion Tracking from Sparse Sensors with Simulated
Avatars [80.05743236282564]
人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。
本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。
一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
論文 参考訳（メタデータ） (2022-09-20T00:25:54Z) - AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion
Sensing [24.053096294334694]
AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。
提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。
我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
論文 参考訳（メタデータ） (2022-07-27T20:52:39Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳（メタデータ） (2022-03-29T16:24:52Z) - Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。
提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。
また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。
パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
論文 参考訳（メタデータ） (2021-08-23T20:47:09Z) - Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文 参考訳（メタデータ） (2021-03-31T17:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。