論文の概要: Animatable Neural Radiance Fields for Human Body Modeling

• arxiv url: http://arxiv.org/abs/2105.02872v1
• Date: Thu, 6 May 2021 17:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 13:22:00.437678
• Title: Animatable Neural Radiance Fields for Human Body Modeling
• Title（参考訳）: 人体モデリングのためのAnimatable Neural Radiance Fields
• Authors: Sida Peng, Junting Dong, Qianqian Wang, Shangzhan Zhang, Qing Shuai, Hujun Bao, Xiaowei Zhou
• Abstract要約: 本稿では,多視点映像から人間モデルを再構築する課題について述べる。 変形場を生成するためにニューラルブレンド重量場を導入する。 実験の結果,我々のアプローチは最近の人間の手法を大きく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 54.41477114385557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the challenge of reconstructing an animatable human model from a multi-view video. Some recent works have proposed to decompose a dynamic scene into a canonical neural radiance field and a set of deformation fields that map observation-space points to the canonical space, thereby enabling them to learn the dynamic scene from images. However, they represent the deformation field as translational vector field or SE(3) field, which makes the optimization highly under-constrained. Moreover, these representations cannot be explicitly controlled by input motions. Instead, we introduce neural blend weight fields to produce the deformation fields. Based on the skeleton-driven deformation, blend weight fields are used with 3D human skeletons to generate observation-to-canonical and canonical-to-observation correspondences. Since 3D human skeletons are more observable, they can regularize the learning of deformation fields. Moreover, the learned blend weight fields can be combined with input skeletal motions to generate new deformation fields to animate the human model. Experiments show that our approach significantly outperforms recent human synthesis methods. The code will be available at https://zju3dv.github.io/animatable_nerf/.
• Abstract（参考訳）: 本稿では,多視点映像から人間モデルを再構築する課題について述べる。 近年の研究では、ダイナミックシーンを正準神経放射場と、観測空間の点を正準空間にマッピングする一連の変形場に分解して、画像から動的シーンを学習する手法が提案されている。 しかし、これらは変形場を変換ベクトル場またはSE(3)場として表現し、最適化は過小制約される。 さらに、これらの表現は入力運動によって明示的に制御することはできない。 代わりに、変形場を生成するためにニューラルブレンド重量場を導入する。 スケルトン駆動の変形に基づいて、3次元人間の骨格とブレンドウエイトフィールドが使われ、観察-カノニカル-標準-観測対応を生成する。 3d人間の骨格はより観察しやすいため、変形場の学習を規則化することができる。 さらに、学習したブレンド重量場を入力骨格運動と組み合わせることで、新しい変形場を生成し、人間のモデルをアニメーション化することができる。 実験の結果,最近のヒト合成法を有意に上回っていることがわかった。 コードはhttps://zju3dv.github.io/animatable_nerf/で入手できる。

関連論文リスト

• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Point-Based Radiance Fields for Controllable Human Motion Synthesis [7.322100850632633]
  本稿では,静的な点ベース放射場に基づく微細変形のための制御可能な人体動作合成法を提案する。 提案手法は,静的な3次元シーンをトレーニングするために明示的な点雲を利用し,点雲変換を符号化して変形を適用した。 我々の手法は、人間以外の他の3Dキャラクタに一般化できる、微細な複雑な変形に関する最先端技術よりもはるかに優れている。
  論文  参考訳（メタデータ） (2023-10-05T08:27:33Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• NDF: Neural Deformable Fields for Dynamic Human Modelling [5.029703921995977]
  マルチビュー映像からの動的人間のデジタル化のための新しい表現であるニューラルデフォルマブルフィールド(NDF)を提案する。 変形場推定で観測空間にリンクする共有正準神経放射場を持つ動的人体を表現するための最近の研究が提案されている。 本稿では、動的人間を表現するために、装着されたパラメトリックボディモデルに包まれた神経変形性フィールドを学習することを提案する。
  論文  参考訳（メタデータ） (2022-07-19T10:55:41Z)
• Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos [63.16888987770885]
  本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。 線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。 提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T17:56:59Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes [117.76767853430243]
  SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。 反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。 最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
  論文  参考訳（メタデータ） (2021-04-08T17:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。