論文の概要: Spatial-Related Sensors Matters: 3D Human Motion Reconstruction Assisted with Textual Semantics

• arxiv url: http://arxiv.org/abs/2401.05412v1
• Date: Wed, 27 Dec 2023 04:21:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 08:35:36.906064
• Title: Spatial-Related Sensors Matters: 3D Human Motion Reconstruction Assisted with Textual Semantics
• Title（参考訳）: 空間関連センサ:テキストセマンティクスを用いた3次元人間の動作復元
• Authors: Xueyuan Yang and Chao Yao and Xiaojuan Ban
• Abstract要約: 運動再建のためのウェアラブルデバイスを活用することは、経済的かつ実行可能な技術として現れている。 本稿では,複数のセンサの空間的重要性について考察する。 テキスト管理では, 座位や立位などの不明瞭な動作を区別するだけでなく, より正確で自然な動きを生じさせる。
• 参考スコア（独自算出の注目度）: 4.9493039356268875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging wearable devices for motion reconstruction has emerged as an economical and viable technique. Certain methodologies employ sparse Inertial Measurement Units (IMUs) on the human body and harness data-driven strategies to model human poses. However, the reconstruction of motion based solely on sparse IMUs data is inherently fraught with ambiguity, a consequence of numerous identical IMU readings corresponding to different poses. In this paper, we explore the spatial importance of multiple sensors, supervised by text that describes specific actions. Specifically, uncertainty is introduced to derive weighted features for each IMU. We also design a Hierarchical Temporal Transformer (HTT) and apply contrastive learning to achieve precise temporal and feature alignment of sensor data with textual semantics. Experimental results demonstrate our proposed approach achieves significant improvements in multiple metrics compared to existing methods. Notably, with textual supervision, our method not only differentiates between ambiguous actions such as sitting and standing but also produces more precise and natural motion.
• Abstract（参考訳）: 運動再建のためのウェアラブルデバイスを活用することは、経済的かつ実行可能な技術として現れている。 ある方法論では、人体にスパース慣性測定ユニット(imus)を用い、データ駆動戦略を利用して人間のポーズをモデル化する。 しかし、スパースIMUデータのみに基づく動きの再構成は、異なるポーズに対応する多数の同一のIMU読影の結果、本質的にあいまいさで区切られている。 本稿では,複数のセンサの空間的重要性について考察する。 具体的には、IMU毎に重み付き特徴を導出するために不確実性を導入する。 また,HTT (Hierarchical Temporal Transformer) を設計し,テキストセマンティクスによるセンサデータの正確な時間的・特徴的アライメントを実現するために,コントラスト学習を適用した。 実験の結果,提案手法は既存手法と比較して,複数の指標の大幅な改善を実現している。 特に,本手法は,座位や立位などの不明瞭な動作を区別するだけでなく,より正確で自然な動きを生じさせる。

関連論文リスト

• Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
  本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。 さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。 このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
  論文  参考訳（メタデータ） (2023-12-02T13:17:10Z)
• SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
  我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。 CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。 実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T09:58:11Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• DiffusionPoser: Real-time Human Motion Reconstruction From Arbitrary Sparse Sensors Using Autoregressive Diffusion [10.439802168557513]
  限られた数のボディウーンセンサーからのモーションキャプチャーは、健康、人間のパフォーマンス、エンターテイメントに重要な応用がある。 最近の研究は、6つのIMUを用いて、特定のセンサー構成から全身の動きを正確に再構築することに焦点を当てている。 センサの任意の組み合わせから人の動きをリアルタイムで再現する単一拡散モデルDiffusionPoserを提案する。
  論文  参考訳（メタデータ） (2023-08-31T12:36:50Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video [16.32910684198013]
  本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。 具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。 以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
  論文  参考訳（メタデータ） (2023-03-15T09:29:03Z)
• Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
  本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
  論文  参考訳（メタデータ） (2023-01-14T05:35:50Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。