論文の概要: Full-Body Motion Reconstruction with Sparse Sensing from Graph Perspective

• arxiv url: http://arxiv.org/abs/2401.11783v1
• Date: Mon, 22 Jan 2024 09:29:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 14:48:54.638607
• Title: Full-Body Motion Reconstruction with Sparse Sensing from Graph Perspective
• Title（参考訳）: グラフ視点からのスパースセンシングによる全体運動再構成
• Authors: Feiyu Yao, Zongkai Wu, Li Yi
• Abstract要約: スパースセンサーデータから3Dフルボディのポーズを推定することは、拡張現実と仮想現実における現実的な人間の動きを再現するための重要な手法である。 人体を表すためにBPG(Body Pose Graph)を使用し、その課題をグラフ不足ノードの予測問題に変換する。 提案手法の有効性は,特に下肢動作において,他のベースライン法よりも高い精度で達成できることが証明されている。
• 参考スコア（独自算出の注目度）: 22.761692765158646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating 3D full-body pose from sparse sensor data is a pivotal technique employed for the reconstruction of realistic human motions in Augmented Reality and Virtual Reality. However, translating sparse sensor signals into comprehensive human motion remains a challenge since the sparsely distributed sensors in common VR systems fail to capture the motion of full human body. In this paper, we use well-designed Body Pose Graph (BPG) to represent the human body and translate the challenge into a prediction problem of graph missing nodes. Then, we propose a novel full-body motion reconstruction framework based on BPG. To establish BPG, nodes are initially endowed with features extracted from sparse sensor signals. Features from identifiable joint nodes across diverse sensors are amalgamated and processed from both temporal and spatial perspectives. Temporal dynamics are captured using the Temporal Pyramid Structure, while spatial relations in joint movements inform the spatial attributes. The resultant features serve as the foundational elements of the BPG nodes. To further refine the BPG, node features are updated through a graph neural network that incorporates edge reflecting varying joint relations. Our method's effectiveness is evidenced by the attained state-of-the-art performance, particularly in lower body motion, outperforming other baseline methods. Additionally, an ablation study validates the efficacy of each module in our proposed framework.
• Abstract（参考訳）: スパースセンサデータから3dフルボディポーズを推定することは、拡張現実と仮想現実におけるリアルな人間の動きの再構築に使用される重要な技術である。 しかし、一般的なVRシステムにおけるスパース分散センサーは、完全な人間の身体の動きを捉えることができないため、スパースセンサー信号を包括的人間の動作に変換することは依然として困難である。 本稿では,人体を表現するためによく設計されたボディポーズグラフ(bpg)を用い,その課題をグラフ欠落ノードの予測問題に変換する。 そこで本研究では,bpgに基づく新しい全身運動再構成フレームワークを提案する。 BPGを確立するために、ノードはまずスパースセンサー信号から抽出された特徴を付与する。 多様なセンサにまたがる識別可能なジョイントノードの特徴は、時間的および空間的な観点から融合処理される。 時間的ダイナミクスは時間的ピラミッド構造を用いて捉えられ、関節運動における空間的関係は空間的属性を知らせる。 結果として得られる機能は、BPGノードの基本要素として機能する。 BPGをさらに洗練するために、さまざまな関節関係を反映するエッジを含むグラフニューラルネットワークを通じてノード機能を更新する。 提案手法の有効性は,特に下肢運動において,他のベースライン法よりも高い精度で達成されている。 さらに,提案フレームワークにおける各モジュールの有効性について検討した。

関連論文リスト

• Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
  我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。 動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。 本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
  論文  参考訳（メタデータ） (2024-07-23T18:41:16Z)
• Temporal and Heterogeneous Graph Neural Network for Remaining Useful Life Prediction [27.521188262343596]
  我々はTHGNN(Temporal and Heterogeneous Graph Neural Networks)という新しいモデルを導入する。 THGNNは、隣接するノードからの履歴データを集約し、センサーデータのストリーム内の時間的ダイナミクスと空間的相関を正確にキャプチャする。 包括的実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-05-07T14:08:57Z)
• Integrative Deep Learning Framework for Parkinson's Disease Early Detection using Gait Cycle Data Measured by Wearable Sensors: A CNN-GRU-GNN Approach [0.3222802562733786]
  対象のバイナリ分類に適した,先駆的な深層学習アーキテクチャを提案する。 我々のモデルは、1D畳み込みニューラルネットワーク(CNN)、GRU(Gated Recurrent Units)、GNN(Graph Neural Network)のパワーを利用する。 提案モデルでは, 99.51%, 99.57%, 99.71%, 99.64%のスコアが得られた。
  論文  参考訳（メタデータ） (2024-04-09T15:19:13Z)
• Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
  本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。 さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。 このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
  論文  参考訳（メタデータ） (2023-12-02T13:17:10Z)
• Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering [139.159534903657]
  我々は、高忠実度自由視点人体詳細のための一般化可能で効率的なニューラルレーダランス・フィールド(NeRF)パイプラインを開発した。 自己閉塞性を改善するため,幾何誘導型多視点機能統合手法を考案した。 高いレンダリング効率を達成するため,幾何誘導型プログレッシブレンダリングパイプラインを導入する。
  論文  参考訳（メタデータ） (2021-12-08T14:42:10Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• An Adversarial Human Pose Estimation Network Injected with Graph Structure [75.08618278188209]
  本稿では,いくつかの関節が見えない場合に,可視関節の局所化精度を向上させるために,新しいGAN(Generative Adversarial Network)を設計する。 ネットワークは、2つのシンプルで効率的なモジュール、カスケード機能ネットワーク(CFN)とグラフ構造ネットワーク(GSN)で構成されています。
  論文  参考訳（メタデータ） (2021-03-29T12:07:08Z)
• Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition [92.99291528676021]
  3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。 私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。 我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-02-24T15:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。