論文の概要: EnvPoser: Environment-aware Realistic Human Motion Estimation from Sparse Observations with Uncertainty Modeling

• arxiv url: http://arxiv.org/abs/2412.10235v1
• Date: Fri, 13 Dec 2024 16:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:35.178734
• Title: EnvPoser: Environment-aware Realistic Human Motion Estimation from Sparse Observations with Uncertainty Modeling
• Title（参考訳）: EnvPoser:不確実性モデリングを用いたスパース観測による環境認識リアルな人間の動作推定
• Authors: Songpengcheng Xia, Yu Zhang, Zhuo Su, Xiaozheng Zheng, Zheng Lv, Guidong Wang, Yongjie Zhang, Qi Wu, Lei Chu, Ling Pei,
• Abstract要約: そこで本研究では,VRデバイスからのスパーストラッキング信号と事前スキャン環境を用いて,全体動作推定を行う手法を提案する。 セマンティックな環境制約と幾何的な環境制約を統合することで、これらの多仮説推定を洗練させる。 本手法は,動き-環境相互作用シナリオにおける人間の動き推定の大幅な改善を目立たせ,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 16.899381956112183
• License:
• Abstract: Estimating full-body motion using the tracking signals of head and hands from VR devices holds great potential for various applications. However, the sparsity and unique distribution of observations present a significant challenge, resulting in an ill-posed problem with multiple feasible solutions (i.e., hypotheses). This amplifies uncertainty and ambiguity in full-body motion estimation, especially for the lower-body joints. Therefore, we propose a new method, EnvPoser, that employs a two-stage framework to perform full-body motion estimation using sparse tracking signals and pre-scanned environment from VR devices. EnvPoser models the multi-hypothesis nature of human motion through an uncertainty-aware estimation module in the first stage. In the second stage, we refine these multi-hypothesis estimates by integrating semantic and geometric environmental constraints, ensuring that the final motion estimation aligns realistically with both the environmental context and physical interactions. Qualitative and quantitative experiments on two public datasets demonstrate that our method achieves state-of-the-art performance, highlighting significant improvements in human motion estimation within motion-environment interaction scenarios.
• Abstract（参考訳）: VRデバイスから頭と手の追跡信号を使って全身の動きを推定することは、様々なアプリケーションにとって大きな可能性を秘めている。 しかし、スパーシリティと観測の独特な分布は重大な課題を示し、複数の実現可能な解(つまり仮説)が不適切な問題となる。 これは、特に下肢関節における全身運動推定の不確実性と曖昧性を増幅する。 そこで本研究では,VRデバイスからのスパーストラッキング信号と事前スキャン環境を用いて,フルボディ動作推定を行うための2段階フレームワークであるEnvPoserを提案する。 EnvPoserは、最初の段階で不確実性を認識した推定モジュールを通して、人間の動作の多面的な性質をモデル化する。 第2段階では、意味的および幾何学的環境制約を統合することにより、これらの多仮説推定を洗練し、最終的な動き推定が環境コンテキストと物理的相互作用の両方と現実的に一致することを保証する。 2つの公開データセットの定性的および定量的実験により、我々の手法が最先端の性能を達成することを示し、動き-環境相互作用シナリオにおける人間の動き推定の大幅な改善を強調した。

関連論文リスト

• Towards Practical Human Motion Prediction with LiDAR Point Clouds [15.715130864327792]
  我々は,最初のシングルLiDARに基づく3次元人体動作予測手法であるtextitLiDAR-HMPを提案する。 LiDAR-HMPは、入力として生のLiDARポイントクラウドを受け取り、将来の3D人間のポーズを直接予測する。 提案手法は,2つの公開ベンチマーク上での最先端性能を実現し,実世界の展開において顕著な堅牢性と有効性を示す。
  論文  参考訳（メタデータ） (2024-08-15T15:10:01Z)
• LiveHPS++: Robust and Coherent Motion Capture in Dynamic Free Environment [17.832694508927407]
  単一LiDARシステムに基づく革新的で効果的なソリューションであるLiveHPS++を紹介する。 3つのモジュールを巧妙に設計し,人間の動作から動的・運動学的特徴を学習することができる。 提案手法は,様々なデータセットにまたがって既存の最先端手法を大幅に超えることが証明されている。
  論文  参考訳（メタデータ） (2024-07-13T10:04:45Z)
• Aligning Human Motion Generation with Human Perceptions [51.831338643012444]
  本研究では,大規模人間の知覚評価データセットであるMotionPerceptと,人間の動作批判モデルであるMotionCriticを導入することにより,ギャップを埋めるデータ駆動型アプローチを提案する。 我々の批評家モデルは、運動品質を評価するためのより正確な指標を提供しており、容易に運動生成パイプラインに統合することができる。
  論文  参考訳（メタデータ） (2024-07-02T14:01:59Z)
• Motion-Scenario Decoupling for Rat-Aware Video Position Prediction: Strategy and Benchmark [49.58762201363483]
  本研究では,個人や環境の影響要因を考慮し,生物ロボットの動き予測データセットであるRatPoseを紹介する。 本稿では,シナリオ指向とモーション指向を効果的に分離するDual-stream Motion-Scenario Decouplingフレームワークを提案する。 難易度が異なるタスクに対して,提案したtextitDMSD フレームワークの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-05-17T14:14:31Z)
• A Neuro-Symbolic Approach for Enhanced Human Motion Prediction [5.742409080817885]
  人間の動作予測のためのニューロシンボリックアプローチ(NeuroSyM)を提案する。 NeuroSyMは、質的軌道計算(QTC)と呼ばれる空間表現に直感的手法を活用することにより、近隣の相互作用を異なる重み付けする 実験の結果,NeuroSyMアプローチは,ほとんどの場合,予測精度においてベースラインアーキテクチャよりも優れていた。
  論文  参考訳（メタデータ） (2023-04-23T20:11:40Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• Learning to Predict Diverse Human Motions from a Single Image via Mixture Density Networks [9.06677862854201]
  本研究では,混合密度ネットワーク(MDN)モデルを用いて,単一画像から将来の人間の動きを予測する新しい手法を提案する。 MDNのマルチモーダルな性質は、既存のディープヒューマンモーション予測アプローチとは対照的に、様々な将来のモーション仮説の生成を可能にしている。 訓練されたモデルでは、入力として画像を直接取り、与えられた条件を満たす複数の可視運動を生成する。
  論文  参考訳（メタデータ） (2021-09-13T08:49:33Z)
• Scene-aware Generative Network for Human Motion Synthesis [125.21079898942347]
  シーンと人間の動きの相互作用を考慮した新しい枠組みを提案する。 人間の動きの不確実性を考慮すると、このタスクを生成タスクとして定式化する。 我々は、人間の動きと文脈シーンとの整合性を強制するための識別器を備えた、GANに基づく学習アプローチを導出する。
  論文  参考訳（メタデータ） (2021-05-31T09:05:50Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。