論文の概要: Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields

• arxiv url: http://arxiv.org/abs/2207.13807v1
• Date: Wed, 27 Jul 2022 21:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 12:30:27.027866
• Title: Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields
• Title（参考訳）: Pose-NDF:ニューラル距離場を用いた人間のPose Manifoldのモデル化
• Authors: Garvita Tiwari, Dimitrije Antic, Jan Eric Lenssen, Nikolaos Sarafianos, Tony Tung, Gerard Pons-Moll
• Abstract要約: ニューラル距離場(NDF)に基づく可塑性人間のポーズの連続モデルを提案する。 Pose-NDFは、ニューラルネットワークの暗黙関数のゼロレベル集合として可塑性ポーズの多様体を学習する。 ランダムサンプリングとプロジェクションにより、VAEベースの手法よりも多様なポーズを生成することができる。
• 参考スコア（独自算出の注目度）: 47.62275563070933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Pose-NDF, a continuous model for plausible human poses based on neural distance fields (NDFs). Pose or motion priors are important for generating realistic new poses and for reconstructing accurate poses from noisy or partial observations. Pose-NDF learns a manifold of plausible poses as the zero level set of a neural implicit function, extending the idea of modeling implicit surfaces in 3D to the high-dimensional domain SO(3)^K, where a human pose is defined by a single data point, represented by K quaternions. The resulting high-dimensional implicit function can be differentiated with respect to the input poses and thus can be used to project arbitrary poses onto the manifold by using gradient descent on the set of 3-dimensional hyperspheres. In contrast to previous VAE-based human pose priors, which transform the pose space into a Gaussian distribution, we model the actual pose manifold, preserving the distances between poses. We demonstrate that PoseNDF outperforms existing state-of-the-art methods as a prior in various downstream tasks, ranging from denoising real-world human mocap data, pose recovery from occluded data to 3D pose reconstruction from images. Furthermore, we show that it can be used to generate more diverse poses by random sampling and projection than VAE-based methods.
• Abstract（参考訳）: 本稿では,ニューラル距離場(NDF)に基づく可塑性人間のポーズの連続モデルであるPose-NDFを提案する。 ポーズや動きの先行は、現実的な新しいポーズを生成し、ノイズや部分的な観察から正確なポーズを再構築するために重要である。 Pose-NDF は、ニューラルネットワークの暗黙関数のゼロレベル集合として可塑性ポーズの多様体を学習し、3次元の暗黙曲面を高次元領域 SO(3)^K にモデル化するというアイデアを拡張し、人間のポーズはK四元数で表される単一のデータポイントで定義される。 結果として得られる高次元暗黙関数は入力ポーズに関して微分することができ、従って三次元超球上の勾配降下を用いて多様体上の任意のポーズを投影することができる。 ポーズ空間をガウス分布に変換する従来のVAEベースの人間のポーズ先行よりも、実際のポーズ多様体をモデル化し、ポーズ間の距離を保存する。 本研究では,実世界の人間のモカプデータのノイズ化,オクルードデータからのポーズ回復,画像からの3次元ポーズ再構成など,さまざまな下流タスクにおいて,posadndfが従来の最先端手法に先行することを示す。 さらに,VAE法よりもランダムサンプリングやプロジェクションにより,より多様なポーズを生成することができることを示す。

関連論文リスト

• StackFLOW: Monocular Human-Object Reconstruction by Stacked Normalizing Flow with Offset [56.71580976007712]
  本研究では,人間のメッシュと物体メッシュの表面から密にサンプリングされたアンカー間の人物体オフセットを用いて,人物体空間関係を表現することを提案する。 この表現に基づいて、画像から人・物間の空間関係の後方分布を推定するスタック正規化フロー(StackFLOW)を提案する。 最適化段階では、サンプルの可能性を最大化することにより、人体ポーズと物体6Dポーズを微調整する。
  論文  参考訳（メタデータ） (2024-07-30T04:57:21Z)
• Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion Modeling [83.76377808476039]
  本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。 動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。 混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
  論文  参考訳（メタデータ） (2023-08-18T16:41:57Z)
• Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
  本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。 本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
  論文  参考訳（メタデータ） (2022-08-18T09:20:48Z)
• Single-view 3D Body and Cloth Reconstruction under Complex Poses [37.86174829271747]
  既存の暗黙の関数ベースモデルを拡張して、任意のポーズと自己排他的な手足を持つ人間の画像を扱う。 入力画像を低精細度で3次元のボディ形状にマッピングする暗黙の関数を学習する。 次に、スムーズな表面を条件とした変位マップを学習し、衣服や身体の高周波の詳細を符号化する。
  論文  参考訳（メタデータ） (2022-05-09T07:34:06Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Stochastic Modeling for Learnable Human Pose Triangulation [0.7646713951724009]
  本研究では,3次元ポーズ三角測量のためのモデリングフレームワークを提案し,その性能を異なるデータセットと空間カメラアレンジメントで評価する。 提案したポーズ三角測量モデルは、異なるカメラアレンジメントと2つの公開データセット間の一般化に成功している。
  論文  参考訳（メタデータ） (2021-10-01T09:26:25Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。