論文の概要: PresSim: An End-to-end Framework for Dynamic Ground Pressure Profile
Generation from Monocular Videos Using Physics-based 3D Simulation
- arxiv url: http://arxiv.org/abs/2302.00391v1
- Date: Wed, 1 Feb 2023 12:02:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:07:31.297156
- Title: PresSim: An End-to-end Framework for Dynamic Ground Pressure Profile
Generation from Monocular Videos Using Physics-based 3D Simulation
- Title（参考訳）: PresSim:物理に基づく3次元シミュレーションによる単眼映像からの動的地圧プロファイル生成のためのエンドツーエンドフレームワーク
- Authors: Lala Shakti Swarup Ray, Bo Zhou, Sungho Suh, Paul Lukowicz
- Abstract要約: 人体が受ける地圧は、広汎なセンシングにおいて、人間の活動認識(HAR)にとって貴重な情報源である。
本稿では,人間の活動のビデオからセンサデータを合成し,その労力を大幅に削減する,新しいエンドツーエンドフレームワークPresSimを提案する。
- 参考スコア（独自算出の注目度）: 8.107762252448195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ground pressure exerted by the human body is a valuable source of information
for human activity recognition (HAR) in unobtrusive pervasive sensing. While
data collection from pressure sensors to develop HAR solutions requires
significant resources and effort, we present a novel end-to-end framework,
PresSim, to synthesize sensor data from videos of human activities to reduce
such effort significantly. PresSim adopts a 3-stage process: first, extract the
3D activity information from videos with computer vision architectures; then
simulate the floor mesh deformation profiles based on the 3D activity
information and gravity-included physics simulation; lastly, generate the
simulated pressure sensor data with deep learning models. We explored two
approaches for the 3D activity information: inverse kinematics with mesh
re-targeting, and volumetric pose and shape estimation. We validated PresSim
with an experimental setup with a monocular camera to provide input and a
pressure-sensing fitness mat (80x28 spatial resolution) to provide the sensor
ground truth, where nine participants performed a set of predefined yoga
sequences.
- Abstract（参考訳）: 人体に作用する地圧は、人間の活動認識(HAR)が広範に知覚される際の貴重な情報源である。
圧力センサからのデータ収集とHARソリューションの開発には多大なリソースと労力が必要であるが,人間の活動のビデオからセンサデータを合成し,その労力を大幅に削減する,新たなエンドツーエンドフレームワークPresSimを提案する。
PresSimはまず、コンピュータビジョンアーキテクチャでビデオから3Dアクティビティ情報を抽出し、3Dアクティビティ情報と重力を含む物理シミュレーションに基づいてフロアメッシュの変形プロファイルをシミュレートし、最後に、ディープラーニングモデルでシミュレーションされた圧力センサデータを生成する。
本研究では,メッシュ再ターゲティングを伴う逆運動学と体積的ポーズと形状推定の2つの3次元活動情報について検討した。
入力と圧力感知型フィットネスマット(80x28空間分解能)を提供するために単眼カメラを用いてプレシムを実験的に検証し、9人の参加者が事前定義されたヨガシーケンスを実行した。
関連論文リスト
- Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。
各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。
我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
論文 参考訳（メタデータ） (2024-10-04T18:00:07Z) - Predicting 3D Rigid Body Dynamics with Deep Residual Network [0.0]
本稿では,C++で実装された3次元物理シミュレータとPyTorchを用いたディープラーニングモデルを組み合わせたフレームワークを提案する。
シミュレータは、線形および角運動、弾性衝突、流体摩擦、重力効果、減衰を含むトレーニングデータを生成する。
我々は,1万のシミュレーションシナリオのデータセットを用いて,ネットワークの性能を評価する。
論文 参考訳（メタデータ） (2024-07-09T23:40:10Z) - DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - PressureTransferNet: Human Attribute Guided Dynamic Ground Pressure
Profile Transfer using 3D simulated Pressure Maps [7.421780713537146]
PressureTransferNetは、ソースの圧力マップとターゲットの人間属性ベクトルを入力として取り込むエンコーダ・デコーダモデルである。
センサシミュレーションを用いて、さまざまな人的属性と圧力プロファイルを持つ多様なデータセットを作成する。
物理に基づく深層学習モデルを用いて, 合成圧力形状の忠実度を視覚的に確認し, 接地領域での2乗R2乗値0.79を得る。
論文 参考訳（メタデータ） (2023-08-01T13:31:25Z) - FLAG3D: A 3D Fitness Activity Dataset with Language Instruction [89.60371681477791]
FLAG3Dは,60カテゴリの180Kシーケンスを含む言語命令付き大規模3Dフィットネスアクティビティデータセットである。
FLAG3Dは、クロスドメインなヒューマンアクション認識、動的ヒューマンメッシュリカバリ、言語誘導型ヒューマンアクション生成など、さまざまな課題に対して大きな研究価値を提供する。
論文 参考訳（メタデータ） (2022-12-09T02:33:33Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳（メタデータ） (2021-07-20T15:56:52Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-08-02T11:04:49Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。