論文の概要: Human Motion Capture from Loose and Sparse Inertial Sensors with Garment-aware Diffusion Models
- arxiv url: http://arxiv.org/abs/2506.15290v1
- Date: Wed, 18 Jun 2025 09:16:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-19 19:35:51.6129
- Title: Human Motion Capture from Loose and Sparse Inertial Sensors with Garment-aware Diffusion Models
- Title(参考訳): ガーメント対応拡散モデルを用いたルース・スパース慣性センサからの人間のモーションキャプチャ
- Authors: Andela Ilic, Jiaxi Jiang, Paul Streli, Xintong Liu, Christian Holz,
- Abstract要約: 疎結合型IMUセンサを用いた人体姿勢推定の新しい課題を提案する。
我々は、この難解なIMUデータに基づいて、ゆるいIMUデータを合成し、人間のポーズを推定するトランスフォーマーベースの拡散モデルを開発した。
- 参考スコア(独自算出の注目度): 25.20942802233326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion capture using sparse inertial sensors has shown great promise due to its portability and lack of occlusion issues compared to camera-based tracking. Existing approaches typically assume that IMU sensors are tightly attached to the human body. However, this assumption often does not hold in real-world scenarios. In this paper, we present a new task of full-body human pose estimation using sparse, loosely attached IMU sensors. To solve this task, we simulate IMU recordings from an existing garment-aware human motion dataset. We developed transformer-based diffusion models to synthesize loose IMU data and estimate human poses based on this challenging loose IMU data. In addition, we show that incorporating garment-related parameters while training the model on simulated loose data effectively maintains expressiveness and enhances the ability to capture variations introduced by looser or tighter garments. Experiments show that our proposed diffusion methods trained on simulated and synthetic data outperformed the state-of-the-art methods quantitatively and qualitatively, opening up a promising direction for future research.
- Abstract(参考訳): スパース慣性センサーを用いたモーションキャプチャーは、ポータビリティとカメラベースのトラッキングと比較して閉塞性の問題が欠如していることから、大きな可能性を秘めている。
既存のアプローチでは、IMUセンサーが人体に密着していると仮定する。
しかし、この仮定は現実世界のシナリオでは成立しないことが多い。
本稿では, 疎結合型IMUセンサを用いた人体姿勢推定の新しい課題について述べる。
この課題を解決するために,既存の衣服を意識した人間の動作データセットからIMU記録をシミュレートする。
我々は、この難解なIMUデータに基づいて、ゆるいIMUデータを合成し、人間のポーズを推定するトランスフォーマーベースの拡散モデルを開発した。
さらに,シミュレーションされたゆるいデータにモデルをトレーニングしながら,衣服関連パラメータを組み込むことで,表現性を効果的に維持し,よりゆるい衣服やタイトな衣服によってもたらされる変動を捉えることができることを示す。
実験により, シミュレーションおよび合成データに基づいて学習した拡散法は, 最先端の手法よりも定量的かつ定性的に優れており, 今後の研究に向けて有望な方向性が示された。
関連論文リスト
- UMotion: Uncertainty-driven Human Motion Estimation from Inertial and Ultra-wideband Units [11.911147790899816]
UMotionは、不確実性駆動による3次元人間の形状とポーズ推定のためのオンラインハウジングオール状態推定フレームワークである。
ボディウーンのウルトラワイドバンド(UWB)距離センサーを6基搭載し、IMUを搭載。
論文 参考訳(メタデータ) (2025-05-14T13:48:36Z) - MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。
そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-18T13:32:59Z) - PoseAugment: Generative Human Pose Data Augmentation with Physical Plausibility for IMU-based Motion Capture [40.765438433729344]
VAEベースのポーズ生成と物理最適化を取り入れた新しいパイプラインであるPoseAugmentを提案する。
ポーズシーケンスが与えられた場合、VAEモジュールはデータ分布を維持しながら、高忠実度と多様性の両方で無限のポーズを生成する。
高品質なIMUデータは、モーションキャプチャーモデルを訓練するための強化されたポーズから合成される。
論文 参考訳(メタデータ) (2024-09-21T10:51:16Z) - C3T: Cross-modal Transfer Through Time for Sensor-based Human Activity Recognition [7.139150172150715]
C3T(Cross-modal Transfer Through Time)を紹介する。
C3Tは、動的センサーデータを処理するために、アライメント中の時間情報を保存する。
様々なカメラ+IMUデータセットを用いた実験により、C3TはUMAの既存の手法を少なくとも8%上回っていることが示された。
論文 参考訳(メタデータ) (2024-07-23T19:06:44Z) - Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳(メタデータ) (2024-02-19T15:57:39Z) - Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for
Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。
さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。
このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
論文 参考訳(メタデータ) (2023-12-02T13:17:10Z) - Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。
現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。
本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
論文 参考訳(メタデータ) (2023-10-09T20:32:49Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳(メタデータ) (2023-06-09T18:40:55Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳(メタデータ) (2022-07-11T07:50:22Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳(メタデータ) (2022-03-29T16:24:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。