論文の概要: Human Motion Capture from Loose and Sparse Inertial Sensors with Garment-aware Diffusion Models
- arxiv url: http://arxiv.org/abs/2506.15290v2
- Date: Wed, 13 Aug 2025 08:45:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.534625
- Title: Human Motion Capture from Loose and Sparse Inertial Sensors with Garment-aware Diffusion Models
- Title(参考訳): ガーメント対応拡散モデルを用いたルース・スパース慣性センサからの人間のモーションキャプチャ
- Authors: Andela Ilic, Jiaxi Jiang, Paul Streli, Xintong Liu, Christian Holz,
- Abstract要約: Garment Inertial Poser (GaIP) は、粗いIMUセンサーから全身のポーズを推定する方法である。
実験の結果,シミュレーションおよび合成データに基づいて訓練した拡散法は,慣性フルボディポーズ推定器よりも優れていた。
- 参考スコア(独自算出の注目度): 25.20942802233326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion capture using sparse inertial sensors has shown great promise due to its portability and lack of occlusion issues compared to camera-based tracking. Existing approaches typically assume that IMU sensors are tightly attached to the human body. However, this assumption often does not hold in real-world scenarios. In this paper, we present Garment Inertial Poser (GaIP), a method for estimating full-body poses from sparse and loosely attached IMU sensors. We first simulate IMU recordings using an existing garment-aware human motion dataset. Our transformer-based diffusion models synthesize loose IMU data and estimate human poses from this challenging loose IMU data. We also demonstrate that incorporating garment-related parameters during training on loose IMU data effectively maintains expressiveness and enhances the ability to capture variations introduced by looser or tighter garments. Our experiments show that our diffusion methods trained on simulated and synthetic data outperform state-of-the-art inertial full-body pose estimators, both quantitatively and qualitatively, opening up a promising direction for future research on motion capture from such realistic sensor placements.
- Abstract(参考訳): スパース慣性センサーを用いたモーションキャプチャーは、ポータビリティとカメラベースのトラッキングと比較して閉塞性の問題が欠如していることから、大きな可能性を秘めている。
既存のアプローチでは、IMUセンサーが人体に密着していると仮定する。
しかし、この仮定は現実世界のシナリオでは成立しないことが多い。
本稿では,ガメント慣性電位(GaIP, Garment Inertial Poser)について述べる。
まず,既存の衣服を意識した人間の動作データセットを用いてIMU記録をシミュレートする。
我々のトランスフォーマーに基づく拡散モデルは、この難解なIMUデータからゆるいIMUデータを合成し、人間のポーズを推定する。
また、ゆるいIMUデータに対するトレーニング中に衣服関連パラメータを組み込むことで、表現性を効果的に維持し、よりゆるい衣服やタイトな衣服によってもたらされる変動を捉える能力を高めることを実証した。
実験により, シミュレーションおよび合成データに基づいて訓練した拡散法は, 定量的かつ定性的に, 最先端の慣性体ポーズ推定器より優れており, 現実的なセンサ配置からのモーションキャプチャーの今後の研究に期待できる方向を開くことができた。
関連論文リスト
- Learning to Track Any Points from Human Motion [55.831218129679144]
点追跡のための擬似ラベル付きトレーニングデータを生成する自動パイプラインを提案する。
AnthroTAPでトレーニングされた点追跡モデルは、TAP-Vidベンチマークで注釈付き最先端性能を達成する。
論文 参考訳(メタデータ) (2025-07-08T17:59:58Z) - UMotion: Uncertainty-driven Human Motion Estimation from Inertial and Ultra-wideband Units [11.911147790899816]
UMotionは、不確実性駆動による3次元人間の形状とポーズ推定のためのオンラインハウジングオール状態推定フレームワークである。
ボディウーンのウルトラワイドバンド(UWB)距離センサーを6基搭載し、IMUを搭載。
論文 参考訳(メタデータ) (2025-05-14T13:48:36Z) - MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。
そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-18T13:32:59Z) - PoseAugment: Generative Human Pose Data Augmentation with Physical Plausibility for IMU-based Motion Capture [40.765438433729344]
VAEベースのポーズ生成と物理最適化を取り入れた新しいパイプラインであるPoseAugmentを提案する。
ポーズシーケンスが与えられた場合、VAEモジュールはデータ分布を維持しながら、高忠実度と多様性の両方で無限のポーズを生成する。
高品質なIMUデータは、モーションキャプチャーモデルを訓練するための強化されたポーズから合成される。
論文 参考訳(メタデータ) (2024-09-21T10:51:16Z) - C3T: Cross-modal Transfer Through Time for Sensor-based Human Activity Recognition [7.139150172150715]
C3T(Cross-modal Transfer Through Time)を紹介する。
C3Tは、動的センサーデータを処理するために、アライメント中の時間情報を保存する。
様々なカメラ+IMUデータセットを用いた実験により、C3TはUMAの既存の手法を少なくとも8%上回っていることが示された。
論文 参考訳(メタデータ) (2024-07-23T19:06:44Z) - Masked Video and Body-worn IMU Autoencoder for Egocentric Action Recognition [24.217068565936117]
本稿では,身近なIMUの動作データをエゴセントリックなビデオと統合する行動認識手法を提案する。
体全体に配置された複数のIMUデバイスの複雑な関係をモデル化するために、複数のIMUデバイスにおける協調力学を利用する。
実験により,提案手法は複数の公開データセット上で最先端の性能を実現することができることが示された。
論文 参考訳(メタデータ) (2024-07-09T07:53:16Z) - Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳(メタデータ) (2024-02-19T15:57:39Z) - Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for
Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。
さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。
このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
論文 参考訳(メタデータ) (2023-12-02T13:17:10Z) - Layout Sequence Prediction From Noisy Mobile Modality [53.49649231056857]
軌道予測は、自律運転やロボット工学などの応用における歩行者運動を理解する上で重要な役割を担っている。
現在の軌道予測モデルは、視覚的モダリティからの長い、完全な、正確に観察されたシーケンスに依存する。
本稿では,物体の障害物や視界外を,完全に視認できる軌跡を持つものと同等に扱う新しいアプローチであるLTrajDiffを提案する。
論文 参考訳(メタデータ) (2023-10-09T20:32:49Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳(メタデータ) (2023-06-09T18:40:55Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳(メタデータ) (2022-07-11T07:50:22Z) - Transformer Inertial Poser: Attention-based Real-time Human Motion
Reconstruction from Sparse IMUs [79.72586714047199]
本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。
提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
論文 参考訳(メタデータ) (2022-03-29T16:24:52Z) - CROMOSim: A Deep Learning-based Cross-modality Inertial Measurement
Simulator [7.50015216403068]
慣性測定装置 (IMU) のデータは, 人体移動の監視と評価に利用されてきた。
データ不足を緩和するため,クロスモーダルセンサシミュレータであるCROMOSimを設計した。
モーションキャプチャシステムや単眼RGBカメラから高忠実度仮想IMUセンサーデータをシミュレートする。
論文 参考訳(メタデータ) (2022-02-21T22:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。