論文の概要: Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence

• arxiv url: http://arxiv.org/abs/2403.19160v1
• Date: Thu, 28 Mar 2024 06:05:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:12:54.323178
• Title: Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence
• Title（参考訳）: 動的コンテキスト内:詩列を用いた慣性認識型3次元人体モデリング
• Authors: Yutong Chen, Yifan Zhan, Zhihang Zhong, Wei Wang, Xiao Sun, Yu Qiao, Yinqiang Zheng,
• Abstract要約: 本研究では、現在のフレームのポーズ状態だけでなく、過去のポーズ状態にも人間の外観の変化が依存していることを明らかにする。 非剛性変形に対するデルタポーズシーケンス表現を利用した新しい手法であるDycoを導入する。 さらに, 慣性を考慮した3次元人間の手法は, 異なる速度での慣性による外観変化を前例なくシミュレートすることができる。
• 参考スコア（独自算出の注目度）: 47.16903508897047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural rendering techniques have significantly advanced 3D human body modeling. However, previous approaches often overlook dynamics induced by factors such as motion inertia, leading to challenges in scenarios like abrupt stops after rotation, where the pose remains static while the appearance changes. This limitation arises from reliance on a single pose as conditional input, resulting in ambiguity in mapping one pose to multiple appearances. In this study, we elucidate that variations in human appearance depend not only on the current frame's pose condition but also on past pose states. Therefore, we introduce Dyco, a novel method utilizing the delta pose sequence representation for non-rigid deformations and canonical space to effectively model temporal appearance variations. To prevent a decrease in the model's generalization ability to novel poses, we further propose low-dimensional global context to reduce unnecessary inter-body part dependencies and a quantization operation to mitigate overfitting of the delta pose sequence by the model. To validate the effectiveness of our approach, we collected a novel dataset named I3D-Human, with a focus on capturing temporal changes in clothing appearance under approximate poses. Through extensive experiments on both I3D-Human and existing datasets, our approach demonstrates superior qualitative and quantitative performance. In addition, our inertia-aware 3D human method can unprecedentedly simulate appearance changes caused by inertia at different velocities.
• Abstract（参考訳）: ニューラルレンダリング技術は、3次元の人体モデリングを著しく進歩させた。 しかし、従来のアプローチでは、運動慣性などの要因によって引き起こされるダイナミクスを見落とし、回転後の突然停止のようなシナリオでは、ポーズが変化しながら静止している。 この制限は、1つのポーズを条件入力として依存することから生じ、1つのポーズを複数の外観にマッピングするあいまいさをもたらす。 本研究では、現在のフレームのポーズ状態だけでなく、過去のポーズ状態にも人間の外観の変化が依存していることを明らかにする。 そこで本稿では,非剛性変形と標準空間にデルタポーズシーケンス表現を応用し,時間変動を効果的にモデル化するDycoを提案する。 新たなポーズに対するモデルの一般化能力の低下を防止するため、不要なボディ間の依存関係を減らすための低次元グローバルコンテキストと、モデルによるデルタポーズシーケンスのオーバーフィッティングを軽減するための量子化操作を提案する。 I3D-Human という新しいデータセットを収集し,衣服の外観の時間的変化を近似的なポーズで捉えた。 I3D-Humanおよび既存のデータセットに関する広範な実験を通じて,本手法は質的かつ定量的な性能を示す。 さらに, 慣性を考慮した3次元人間の手法は, 異なる速度での慣性による外観変化を前例なくシミュレートすることができる。

関連論文リスト

• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields [47.62275563070933]
  ニューラル距離場(NDF)に基づく可塑性人間のポーズの連続モデルを提案する。 Pose-NDFは、ニューラルネットワークの暗黙関数のゼロレベル集合として可塑性ポーズの多様体を学習する。 ランダムサンプリングとプロジェクションにより、VAEベースの手法よりも多様なポーズを生成することができる。
  論文  参考訳（メタデータ） (2022-07-27T21:46:47Z)
• Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera [49.357174195542854]
  外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。 本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-03-24T00:22:03Z)
• 3D Skeleton-based Human Motion Prediction with Manifold-Aware GAN [3.1313293632309827]
  本研究では,3次元骨格を用いた人体動作予測の新しい手法を提案する。 我々は,人間の運動の時間的および空間的依存を捉える,多様体を意識したワッサーシュタイン生成逆数モデルを構築した。 CMU MoCapとHuman 3.6Mデータセットで実験が行われた。
  論文  参考訳（メタデータ） (2022-03-01T20:49:13Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
  HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。 モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。 本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
  論文  参考訳（メタデータ） (2021-05-10T21:04:55Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。