論文の概要: Multi-frame sequence generator of 4D human body motion
- arxiv url: http://arxiv.org/abs/2106.04387v2
- Date: Thu, 10 Jun 2021 07:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-11 14:48:45.505729
- Title: Multi-frame sequence generator of 4D human body motion
- Title（参考訳）: 4次元人体運動のマルチフレームシーケンス生成
- Authors: Marsot Mathieu, Wuhrer Stefanie, Franco Jean-Sebastien, Durocher
Stephane
- Abstract要約: 本稿では,翻訳と回転を含むグローバルな移動をエンコードする自動エンコーダに基づく生成フレームワークと,単一遅延空間ベクトルとしての多フレーム時間運動を提案する。
本研究は,低誤差境界内でのヒト形態素の4次元配列の再構成能力について検証した。
また,最初の人間のフレームから将来のフレームの4次元動作予測を行う手法の利点についても述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine the problem of generating temporally and spatially dense 4D human
body motion. On the one hand generative modeling has been extensively studied
as a per time-frame static fitting problem for dense 3D models such as mesh
representations, where the temporal aspect is left out of the generative model.
On the other hand, temporal generative models exist for sparse human models
such as marker-based capture representations, but have not to our knowledge
been extended to dense 3D shapes. We propose to bridge this gap with a
generative auto-encoder-based framework, which encodes morphology, global
locomotion including translation and rotation, and multi-frame temporal motion
as a single latent space vector. To assess its generalization and factorization
abilities, we train our model on a cyclic locomotion subset of AMASS,
leveraging the dense surface models it provides for an extensive set of motion
captures. Our results validate the ability of the model to reconstruct 4D
sequences of human locomotions within a low error bound, and the meaningfulness
of latent space interpolation between latent vectors representing different
multi-frame sequences and locomotion types. We also illustrate the benefits of
the approach for 4D human motion prediction of future frames from initial human
locomotion frames, showing promising abilities of our model to learn realistic
spatio-temporal features of human motion. We show that our model allows for
data completion of both spatially and temporally sparse data.
- Abstract（参考訳）: 本研究では,時間的および空間的に密集した4次元人体運動の発生問題について検討する。
一方、メッシュ表現のような高密度な3次元モデルに対する時間枠の静的適合問題として生成モデルが広く研究されており、時間的側面は生成モデルから外されている。
一方、マーカーベースのキャプチャー表現のような疎密な人間のモデルには時間的生成モデルが存在するが、我々の知識は高密度な3次元形状に拡張されたわけではない。
本稿では,このギャップを生成的オートエンコーダベースのフレームワークで橋渡しし,形態,翻訳・回転を含む大域的ロコモーション,複数フレームの時間運動を単一潜在空間ベクトルとして符号化する。
一般化と因子化能力を評価するため、我々はAMASSの循環移動サブセットにモデルを訓練し、より広範囲なモーションキャプチャーを提供する高密度表面モデルを活用する。
本研究は,低誤差境界内における人間の移動の4次元配列の再構成と,異なる多フレーム配列と移動型を表す潜在ベクトル間の潜時空間補間の有用性を検証した。
また,最初のロコモーションフレームから将来のフレームを4次元人力で予測する手法の利点を説明し,人間の運動の現実的な時空間的特徴を学習するモデルに有望な能力を示す。
このモデルにより,空間的および時間的にスパースなデータの補完が可能となることを示す。
関連論文リスト
- 4Diffusion: Multi-view Video Diffusion Model for 4D Generation [55.82208863521353]
現在の4D生成法は, 高度な拡散生成モデルの助けを借りて, 有意義な有効性を実現している。
モノクロビデオから空間的・時間的に一貫した4Dコンテンツを生成することを目的とした,新しい4D生成パイプライン,すなわち4Diffusionを提案する。
論文 参考訳（メタデータ） (2024-05-31T08:18:39Z) - OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving [62.54220021308464]
自律運転のための3次元世界開発をシミュレートするために,拡散型4次元占有率生成モデルOccSoraを提案する。
OccSoraは、正確な3Dレイアウトと時間的一貫性を備えた16sビデオを生成し、運転シーンの空間的および時間的分布を理解する能力を示す。
論文 参考訳（メタデータ） (2024-05-30T17:59:42Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z) - SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering [45.51684124904457]
統合されたフレームワークにおける時間的ダイナミクスと人間の外見をモデル化する新しい4DモーションパラダイムであるSurMoを提案する。
効率的なコンパクトな表面ベース三面体で4次元の人間の動きをモデル化する表面ベースの動き符号化。
身体運動学習を促進するために設計された身体運動復号法。
表面条件の効率的なデコードにより、モーショントリプレーンを画像にレンダリングする4次元の外観モデリング。
論文 参考訳（メタデータ） (2024-04-01T16:34:27Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳（メタデータ） (2023-08-18T16:41:57Z) - H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。
単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。
本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
論文 参考訳（メタデータ） (2022-03-02T17:10:49Z) - 3D Skeleton-based Human Motion Prediction with Manifold-Aware GAN [3.1313293632309827]
本研究では,3次元骨格を用いた人体動作予測の新しい手法を提案する。
我々は,人間の運動の時間的および空間的依存を捉える,多様体を意識したワッサーシュタイン生成逆数モデルを構築した。
CMU MoCapとHuman 3.6Mデータセットで実験が行われた。
論文 参考訳（メタデータ） (2022-03-01T20:49:13Z) - Dynamical Deep Generative Latent Modeling of 3D Skeletal Motion [15.359134407309726]
本モデルでは,高度に相関した骨格データを時間的変化の空間的基礎の集合に分解する。
これにより、3次元ポーズデータのダイナミックスにおいて意味のある内在状態を解析する動的深部生成潜在モデルが得られる。
論文 参考訳（メタデータ） (2021-06-18T23:58:49Z) - HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。
モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。
本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文 参考訳（メタデータ） (2021-05-10T21:04:55Z) - Graph-based Normalizing Flow for Human Motion Generation and
Reconstruction [20.454140530081183]
過去の情報と制御信号に基づく長地平線運動系列を合成・再構築する確率生成モデルを提案する。
足踏み解析と骨長解析を併用したモーションキャプチャデータセットを用いたモデル評価を行った。
論文 参考訳（メタデータ） (2021-04-07T09:51:15Z) - Deep Generative Modelling of Human Reach-and-Place Action [15.38392014421915]
始終位置と終端位置を条件とした人間のリーチ・アンド・プレイス行動の深層生成モデルを提案する。
我々は、このような人間の3Dアクション600のデータセットを取得し、3Dソースとターゲットの2x3-D空間をサンプリングした。
我々の評価には、いくつかの改善、生成的多様性の分析、応用が含まれる。
論文 参考訳（メタデータ） (2020-10-05T21:36:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。