論文の概要: PresSim: An End-to-end Framework for Dynamic Ground Pressure Profile
Generation from Monocular Videos Using Physics-based 3D Simulation
- arxiv url: http://arxiv.org/abs/2302.00391v1
- Date: Wed, 1 Feb 2023 12:02:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:07:31.297156
- Title: PresSim: An End-to-end Framework for Dynamic Ground Pressure Profile
Generation from Monocular Videos Using Physics-based 3D Simulation
- Title(参考訳): PresSim:物理に基づく3次元シミュレーションによる単眼映像からの動的地圧プロファイル生成のためのエンドツーエンドフレームワーク
- Authors: Lala Shakti Swarup Ray, Bo Zhou, Sungho Suh, Paul Lukowicz
- Abstract要約: 人体が受ける地圧は、広汎なセンシングにおいて、人間の活動認識(HAR)にとって貴重な情報源である。
本稿では,人間の活動のビデオからセンサデータを合成し,その労力を大幅に削減する,新しいエンドツーエンドフレームワークPresSimを提案する。
- 参考スコア(独自算出の注目度): 8.107762252448195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ground pressure exerted by the human body is a valuable source of information
for human activity recognition (HAR) in unobtrusive pervasive sensing. While
data collection from pressure sensors to develop HAR solutions requires
significant resources and effort, we present a novel end-to-end framework,
PresSim, to synthesize sensor data from videos of human activities to reduce
such effort significantly. PresSim adopts a 3-stage process: first, extract the
3D activity information from videos with computer vision architectures; then
simulate the floor mesh deformation profiles based on the 3D activity
information and gravity-included physics simulation; lastly, generate the
simulated pressure sensor data with deep learning models. We explored two
approaches for the 3D activity information: inverse kinematics with mesh
re-targeting, and volumetric pose and shape estimation. We validated PresSim
with an experimental setup with a monocular camera to provide input and a
pressure-sensing fitness mat (80x28 spatial resolution) to provide the sensor
ground truth, where nine participants performed a set of predefined yoga
sequences.
- Abstract(参考訳): 人体に作用する地圧は、人間の活動認識(HAR)が広範に知覚される際の貴重な情報源である。
圧力センサからのデータ収集とHARソリューションの開発には多大なリソースと労力が必要であるが,人間の活動のビデオからセンサデータを合成し,その労力を大幅に削減する,新たなエンドツーエンドフレームワークPresSimを提案する。
PresSimはまず、コンピュータビジョンアーキテクチャでビデオから3Dアクティビティ情報を抽出し、3Dアクティビティ情報と重力を含む物理シミュレーションに基づいてフロアメッシュの変形プロファイルをシミュレートし、最後に、ディープラーニングモデルでシミュレーションされた圧力センサデータを生成する。
本研究では,メッシュ再ターゲティングを伴う逆運動学と体積的ポーズと形状推定の2つの3次元活動情報について検討した。
入力と圧力感知型フィットネスマット(80x28空間分解能)を提供するために単眼カメラを用いてプレシムを実験的に検証し、9人の参加者が事前定義されたヨガシーケンスを実行した。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - PressureTransferNet: Human Attribute Guided Dynamic Ground Pressure
Profile Transfer using 3D simulated Pressure Maps [7.421780713537146]
PressureTransferNetは、ソースの圧力マップとターゲットの人間属性ベクトルを入力として取り込むエンコーダ・デコーダモデルである。
センサシミュレーションを用いて、さまざまな人的属性と圧力プロファイルを持つ多様なデータセットを作成する。
物理に基づく深層学習モデルを用いて, 合成圧力形状の忠実度を視覚的に確認し, 接地領域での2乗R2乗値0.79を得る。
論文 参考訳(メタデータ) (2023-08-01T13:31:25Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳(メタデータ) (2023-07-07T17:59:14Z) - Development of a Realistic Crowd Simulation Environment for Fine-grained
Validation of People Tracking Methods [0.7223361655030193]
この研究は、群衆シミュレーションの拡張(CrowdSim2)を開発し、人追跡アルゴリズムの適用性を証明する。
シミュレータは非常に人気のあるUnity 3Dエンジンを使用して開発されており、特に環境におけるリアリズムの側面に焦点を当てている。
IOU-Tracker、Deep-Sort、Deep-TAMAという3つのトラッキング手法が生成されたデータセットの検証に使用された。
論文 参考訳(メタデータ) (2023-04-26T09:29:58Z) - 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive
Physics under Challenging Scenes [68.66237114509264]
複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。
本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
論文 参考訳(メタデータ) (2023-04-22T19:28:49Z) - FLAG3D: A 3D Fitness Activity Dataset with Language Instruction [89.60371681477791]
FLAG3Dは,60カテゴリの180Kシーケンスを含む言語命令付き大規模3Dフィットネスアクティビティデータセットである。
FLAG3Dは、クロスドメインなヒューマンアクション認識、動的ヒューマンメッシュリカバリ、言語誘導型ヒューマンアクション生成など、さまざまな課題に対して大きな研究価値を提供する。
論文 参考訳(メタデータ) (2022-12-09T02:33:33Z) - CROMOSim: A Deep Learning-based Cross-modality Inertial Measurement
Simulator [7.50015216403068]
慣性測定装置 (IMU) のデータは, 人体移動の監視と評価に利用されてきた。
データ不足を緩和するため,クロスモーダルセンサシミュレータであるCROMOSimを設計した。
モーションキャプチャシステムや単眼RGBカメラから高忠実度仮想IMUセンサーデータをシミュレートする。
論文 参考訳(メタデータ) (2022-02-21T22:30:43Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳(メタデータ) (2021-07-20T15:56:52Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-08-02T11:04:49Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。