論文の概要: Full-Body Motion Reconstruction with Sparse Sensing from Graph
Perspective
- arxiv url: http://arxiv.org/abs/2401.11783v1
- Date: Mon, 22 Jan 2024 09:29:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 14:48:54.638607
- Title: Full-Body Motion Reconstruction with Sparse Sensing from Graph
Perspective
- Title(参考訳): グラフ視点からのスパースセンシングによる全体運動再構成
- Authors: Feiyu Yao, Zongkai Wu, Li Yi
- Abstract要約: スパースセンサーデータから3Dフルボディのポーズを推定することは、拡張現実と仮想現実における現実的な人間の動きを再現するための重要な手法である。
人体を表すためにBPG(Body Pose Graph)を使用し、その課題をグラフ不足ノードの予測問題に変換する。
提案手法の有効性は,特に下肢動作において,他のベースライン法よりも高い精度で達成できることが証明されている。
- 参考スコア(独自算出の注目度): 22.761692765158646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating 3D full-body pose from sparse sensor data is a pivotal technique
employed for the reconstruction of realistic human motions in Augmented Reality
and Virtual Reality. However, translating sparse sensor signals into
comprehensive human motion remains a challenge since the sparsely distributed
sensors in common VR systems fail to capture the motion of full human body. In
this paper, we use well-designed Body Pose Graph (BPG) to represent the human
body and translate the challenge into a prediction problem of graph missing
nodes. Then, we propose a novel full-body motion reconstruction framework based
on BPG. To establish BPG, nodes are initially endowed with features extracted
from sparse sensor signals. Features from identifiable joint nodes across
diverse sensors are amalgamated and processed from both temporal and spatial
perspectives. Temporal dynamics are captured using the Temporal Pyramid
Structure, while spatial relations in joint movements inform the spatial
attributes. The resultant features serve as the foundational elements of the
BPG nodes. To further refine the BPG, node features are updated through a graph
neural network that incorporates edge reflecting varying joint relations. Our
method's effectiveness is evidenced by the attained state-of-the-art
performance, particularly in lower body motion, outperforming other baseline
methods. Additionally, an ablation study validates the efficacy of each module
in our proposed framework.
- Abstract(参考訳): スパースセンサデータから3dフルボディポーズを推定することは、拡張現実と仮想現実におけるリアルな人間の動きの再構築に使用される重要な技術である。
しかし、一般的なVRシステムにおけるスパース分散センサーは、完全な人間の身体の動きを捉えることができないため、スパースセンサー信号を包括的人間の動作に変換することは依然として困難である。
本稿では,人体を表現するためによく設計されたボディポーズグラフ(bpg)を用い,その課題をグラフ欠落ノードの予測問題に変換する。
そこで本研究では,bpgに基づく新しい全身運動再構成フレームワークを提案する。
BPGを確立するために、ノードはまずスパースセンサー信号から抽出された特徴を付与する。
多様なセンサにまたがる識別可能なジョイントノードの特徴は、時間的および空間的な観点から融合処理される。
時間的ダイナミクスは時間的ピラミッド構造を用いて捉えられ、関節運動における空間的関係は空間的属性を知らせる。
結果として得られる機能は、BPGノードの基本要素として機能する。
BPGをさらに洗練するために、さまざまな関節関係を反映するエッジを含むグラフニューラルネットワークを通じてノード機能を更新する。
提案手法の有効性は,特に下肢運動において,他のベースライン法よりも高い精度で達成されている。
さらに,提案フレームワークにおける各モジュールの有効性について検討した。
関連論文リスト
- Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for
Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。
さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。
このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
論文 参考訳(メタデータ) (2023-12-02T13:17:10Z) - Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。
暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。
また, 関節間の関係を学習するために, 隣接変調を用いた。
論文 参考訳(メタデータ) (2023-08-29T14:00:55Z) - Multi-Head Cross-Attentional PPG and Motion Signal Fusion for Heart Rate
Estimation [2.839269856680851]
本稿では,時間的畳み込みと多頭部交差注意を利用してセンサフュージョンの有効性を向上させる新しい深層学習モデルPULSEを提案する。
3つの公開データセット上でのPULSEの性能を評価し,平均絶対誤差を7.56%削減した。
論文 参考訳(メタデータ) (2022-10-14T08:07:53Z) - Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural
Human Rendering [139.159534903657]
我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。
自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。
高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
論文 参考訳(メタデータ) (2021-12-08T14:42:10Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Spatial-Temporal Correlation and Topology Learning for Person
Re-Identification in Videos [78.45050529204701]
クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。
CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。
グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
論文 参考訳(メタデータ) (2021-04-15T14:32:12Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z) - Graph-based Normalizing Flow for Human Motion Generation and
Reconstruction [20.454140530081183]
過去の情報と制御信号に基づく長地平線運動系列を合成・再構築する確率生成モデルを提案する。
足踏み解析と骨長解析を併用したモーションキャプチャデータセットを用いたモデル評価を行った。
論文 参考訳(メタデータ) (2021-04-07T09:51:15Z) - An Adversarial Human Pose Estimation Network Injected with Graph
Structure [75.08618278188209]
本稿では,いくつかの関節が見えない場合に,可視関節の局所化精度を向上させるために,新しいGAN(Generative Adversarial Network)を設計する。
ネットワークは、2つのシンプルで効率的なモジュール、カスケード機能ネットワーク(CFN)とグラフ構造ネットワーク(GSN)で構成されています。
論文 参考訳(メタデータ) (2021-03-29T12:07:08Z) - Anatomy-aware 3D Human Pose Estimation with Bone-based Pose
Decomposition [92.99291528676021]
3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。
私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。
我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
論文 参考訳(メタデータ) (2020-02-24T15:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。