論文の概要: Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos

• arxiv url: http://arxiv.org/abs/2203.08133v4
• Date: Thu, 4 May 2023 07:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 19:57:41.698535
• Title: Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos
• Title（参考訳）: 映像からのリアルアバター作成のための暗黙的ニューラル表現
• Authors: Sida Peng, Zhen Xu, Junting Dong, Qianqian Wang, Shangzhan Zhang, Qing Shuai, Hujun Bao, Xiaowei Zhou
• Abstract要約: 本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。 線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。 提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 63.16888987770885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the challenge of reconstructing an animatable human model from a multi-view video. Some recent works have proposed to decompose a non-rigidly deforming scene into a canonical neural radiance field and a set of deformation fields that map observation-space points to the canonical space, thereby enabling them to learn the dynamic scene from images. However, they represent the deformation field as translational vector field or SE(3) field, which makes the optimization highly under-constrained. Moreover, these representations cannot be explicitly controlled by input motions. Instead, we introduce a pose-driven deformation field based on the linear blend skinning algorithm, which combines the blend weight field and the 3D human skeleton to produce observation-to-canonical correspondences. Since 3D human skeletons are more observable, they can regularize the learning of the deformation field. Moreover, the pose-driven deformation field can be controlled by input skeletal motions to generate new deformation fields to animate the canonical human model. Experiments show that our approach significantly outperforms recent human modeling methods. The code is available at https://zju3dv.github.io/animatable_nerf/.
• Abstract（参考訳）: 本稿では,多視点映像から人間モデルを再構築する課題について述べる。 近年の研究では、非剛性変形シーンを正準神経放射場と、観測空間を正準空間にマッピングする変形フィールドの集合に分解することで、画像から動的シーンを学べることが提案されている。 しかし、これらは変形場を変換ベクトル場またはSE(3)場として表現し、最適化は過小制約される。 さらに、これらの表現は入力運動によって明示的に制御することはできない。 代わりに, 重みをブレンドして三次元人体骨格を合成した線形ブレンドスキン化アルゴリズムに基づくポーズ駆動変形場を導入し, 観察とカノニカル対応を生成する。 3次元の人間の骨格はより観察しやすいため、変形場の学習を規則化することができる。 また、姿勢駆動変形場は、入力骨格運動によって制御され、カノニカル人体モデルに適合する新しい変形場を生成することができる。 実験の結果,最近の人間のモデリング手法を有意に上回っていることがわかった。 コードはhttps://zju3dv.github.io/animatable_nerf/で入手できる。

関連論文リスト

• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Point-Based Radiance Fields for Controllable Human Motion Synthesis [7.322100850632633]
  本稿では,静的な点ベース放射場に基づく微細変形のための制御可能な人体動作合成法を提案する。 提案手法は,静的な3次元シーンをトレーニングするために明示的な点雲を利用し,点雲変換を符号化して変形を適用した。 我々の手法は、人間以外の他の3Dキャラクタに一般化できる、微細な複雑な変形に関する最先端技術よりもはるかに優れている。
  論文  参考訳（メタデータ） (2023-10-05T08:27:33Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Animatable Neural Radiance Fields for Human Body Modeling [54.41477114385557]
  本稿では,多視点映像から人間モデルを再構築する課題について述べる。 変形場を生成するためにニューラルブレンド重量場を導入する。 実験の結果,我々のアプローチは最近の人間の手法を大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-05-06T17:58:13Z)
• SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes [117.76767853430243]
  SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。 反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。 最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
  論文  参考訳（メタデータ） (2021-04-08T17:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。