論文の概要: H4D: Human 4D Modeling by Learning Neural Compositional Representation
- arxiv url: http://arxiv.org/abs/2203.01247v1
- Date: Wed, 2 Mar 2022 17:10:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 15:36:41.390878
- Title: H4D: Human 4D Modeling by Learning Neural Compositional Representation
- Title(参考訳): h4d: ニューラルコンポジション表現の学習によるヒト4次元モデリング
- Authors: Boyan Jiang, Yinda Zhang, Xingkui Wei, Xiangyang Xue, Yanwei Fu
- Abstract要約: この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。
単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。
本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
- 参考スコア(独自算出の注目度): 75.34798886466311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the impressive results achieved by deep learning based 3D
reconstruction, the techniques of directly learning to model the 4D human
captures with detailed geometry have been less studied. This work presents a
novel framework that can effectively learn a compact and compositional
representation for dynamic human by exploiting the human body prior from the
widely-used SMPL parametric model. Particularly, our representation, named H4D,
represents dynamic 3D human over a temporal span into the latent spaces
encoding shape, initial pose, motion and auxiliary information. A simple yet
effective linear motion model is proposed to provide a rough and regularized
motion estimation, followed by per-frame compensation for pose and geometry
details with the residual encoded in the auxiliary code. Technically, we
introduce novel GRU-based architectures to facilitate learning and improve the
representation capability. Extensive experiments demonstrate our method is not
only efficacy in recovering dynamic human with accurate motion and detailed
geometry, but also amenable to various 4D human related tasks, including motion
retargeting, motion completion and future prediction.
- Abstract(参考訳): 深層学習に基づく3次元再構成による印象的な成果にもかかわらず、詳細な幾何学的形状を持つ4次元人間のキャプチャを直接学習する手法は、あまり研究されていない。
本研究は、広く使われているSMPLパラメトリックモデルから人体を利用して、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提案する。
特に、H4Dという表現は、時間空間上の動的3次元人間を、形状、初期ポーズ、動き、補助情報を符号化する潜在空間に表現する。
簡易かつ有効な線形運動モデルを提案し, 粗く規則化された運動推定を行い, 補助符号にエンコードされた残差を持つポーズと幾何学的詳細に対するフレーム単位の補償を行う。
技術的には、GRUに基づく新しいアーキテクチャを導入し、学習を容易にし、表現能力を向上させる。
提案手法は, 正確な動作と詳細な形状を持つ動的人間を復元するだけでなく, 動作再ターゲティング, 動作完了, 将来の予測など, 様々な4次元人間関連課題に適応できることを示す。
関連論文リスト
- Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳(メタデータ) (2023-12-21T11:41:02Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳(メタデータ) (2023-08-18T16:41:57Z) - LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human
Modeling [69.56581851211841]
そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。
私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。
LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-08-18T03:49:44Z) - 4DContrast: Contrastive Learning with Dynamic Correspondences for 3D
Scene Understanding [22.896937940702642]
教師なし事前学習により学習した3次元表現に4次元動的対象を組み込む新しい手法を提案する。
本研究では,静的な3次元環境に移動する合成3次元形状を利用した新しいデータ拡張手法を提案する。
実験により、教師なし表現学習は、下流3次元セマンティックセマンティックセマンティックセマンティクス、オブジェクト検出、インスタンスセマンティクスタスクの改善をもたらすことが示された。
論文 参考訳(メタデータ) (2021-12-06T13:09:07Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - Multi-frame sequence generator of 4D human body motion [0.0]
本稿では,翻訳と回転を含むグローバルな移動をエンコードする自動エンコーダに基づく生成フレームワークと,単一遅延空間ベクトルとしての多フレーム時間運動を提案する。
本研究は,低誤差境界内でのヒト形態素の4次元配列の再構成能力について検証した。
また,最初の人間のフレームから将来のフレームの4次元動作予測を行う手法の利点についても述べる。
論文 参考訳(メタデータ) (2021-06-07T13:56:46Z) - Learning Transferable Kinematic Dictionary for 3D Human Pose and Shape
Reconstruction [15.586347115568973]
ヒト関節の3次元回転の解空間を明示的に正規化するキネマティック辞書を提案する。
ニューラルネットワークのトレーニング中にシェイプアノテーションを使わずに,エンドツーエンドの3D再構築を実現する。
提案手法は、Human3.6M, MPI-INF-3DHP, LSPなどの大規模データセットの競合結果を得る。
論文 参考訳(メタデータ) (2021-04-02T09:24:29Z) - Learning Compositional Representation for 4D Captures with Neural ODE [72.56606274691033]
本稿では, 形状, 初期状態, 動きを区別する4次元キャプチャの合成表現法を提案する。
運動をモデル化するために、学習した動作コードに基づいて条件付けられた初期状態を更新するために、神経常微分方程式(ode)を訓練する。
デコーダはシェイプコードと更新されたポーズコードを取り、スタンプごとに4Dキャプチャを再構築する。
論文 参考訳(メタデータ) (2021-03-15T10:55:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。