論文の概要: Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces

• arxiv url: http://arxiv.org/abs/2208.14851v1
• Date: Wed, 31 Aug 2022 13:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 13:33:38.792643
• Title: Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces
• Title（参考訳）: Dual-Space NeRF: 異なる空間におけるアニマタブルアバターとシーンライティングの学習
• Authors: Yihao Zhi, Shenhan Qian, Xinhao Yan, Shenghua Gao
• Abstract要約: シーン照明と人体を2つの異なる空間に2つのスキンでモデル化するデュアルスペースNeRFを提案する。 これら2つの空間をブリッジするために、従来の手法は主に線形ブレンドスキン (LBS) アルゴリズムに依存していた。 本稿では, ニューラルブレンディング重み付きLBSよりも, 目立たないポーズや驚くほど優れた結果に直接一般化できるバリ中心マッピングを提案する。
• 参考スコア（独自算出の注目度）: 28.99602069185613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling the human body in a canonical space is a common practice for capturing and animation. But when involving the neural radiance field (NeRF), learning a static NeRF in the canonical space is not enough because the lighting of the body changes when the person moves even though the scene lighting is constant. Previous methods alleviate the inconsistency of lighting by learning a per-frame embedding, but this operation does not generalize to unseen poses. Given that the lighting condition is static in the world space while the human body is consistent in the canonical space, we propose a dual-space NeRF that models the scene lighting and the human body with two MLPs in two separate spaces. To bridge these two spaces, previous methods mostly rely on the linear blend skinning (LBS) algorithm. However, the blending weights for LBS of a dynamic neural field are intractable and thus are usually memorized with another MLP, which does not generalize to novel poses. Although it is possible to borrow the blending weights of a parametric mesh such as SMPL, the interpolation operation introduces more artifacts. In this paper, we propose to use the barycentric mapping, which can directly generalize to unseen poses and surprisingly achieves superior results than LBS with neural blending weights. Quantitative and qualitative results on the Human3.6M and the ZJU-MoCap datasets show the effectiveness of our method.
• Abstract（参考訳）: 人体をカノニカルな空間でモデリングすることは、キャプチャとアニメーションの一般的なプラクティスである。 しかし、神経放射野(nerf)が関与する場合は、場面の照明が一定であっても体の動きが変化するため、正準空間で静的なnerfを学ぶだけでは不十分である。 従来の方法はフレームごとの埋め込みを学習することで照明の不整合を緩和するが、この操作は目に見えないポーズに一般化しない。 人間の体は正準空間に一貫しているが、照明条件は世界空間において静的であるので、2つの異なる空間に2つのmlpを持つシーン照明と人体をモデル化する二重空間nerfを提案する。 これら2つの空間を橋渡しするために、以前の手法は主に線形ブレンドスキニング(lbs)アルゴリズムに依存している。 しかし、動的ニューラルネットワークのLBSのブレンディングウェイトは難易度が高く、通常は他のMLPと記憶されるため、新しいポーズには一般化されない。 SMPLのようなパラメトリックメッシュのブレンディングウェイトを借用することは可能であるが、補間操作はより多くのアーティファクトを導入する。 本稿では,非知覚姿勢に直接一般化でき,ニューラルネットワークのブレンド重みを持つlbsよりも驚くほど優れた結果が得られるbarycentric mappingの利用を提案する。 Human3.6MとZJU-MoCapデータセットの定量的および定性的な結果から,本手法の有効性が示された。

関連論文リスト

• NECA: Neural Customizable Human Avatar [36.69012172745299]
  モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
  論文  参考訳（メタデータ） (2024-03-15T14:23:06Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• VINECS: Video-based Neural Character Skinning [82.39776643541383]
  ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。 提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-03T08:35:53Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars [7.777410338143783]
  本稿では,1枚のRGB画像からリアルなフルボディアバターを作成するためのアプローチを提案する。 本手法は, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現する。 実験では、最新のレンダリング品質と、新しいポーズや視点への優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-16T15:04:10Z)
• SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks [54.94737477860082]
  本論文では,着る人間の生の3Dスキャンをイメージ可能なアバターに変える,エンドツーエンドのトレーニング可能なフレームワークを提案する。 SCANimateはカスタマイズされたメッシュテンプレートや表面メッシュ登録に依存しません。 本手法はポーズ認識型外観モデルに適用でき,完全にテクスチャ化されたアバターを生成できる。
  論文  参考訳（メタデータ） (2021-04-07T17:59:58Z)
• STAR: Sparse Trained Articulated Human Body Regressor [62.71047277943326]
  SMPLよりも定量的に質的に優れているSTARを導入する。 SMPLには、グローバルブレンド形状の使用による膨大な数のパラメータがある。 SMPL因子は体型に依存した変形を示すが、実際には異なる形状の人は異なる変形をする。 SMPLの形状空間はヒトの個体数の変動を捉えるのに十分ではないことを示す。
  論文  参考訳（メタデータ） (2020-08-19T16:27:55Z)
• Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach [76.10879433430466]
  多視点画像と人手足に装着したIMUから3次元人間のポーズを推定する。 まず2つの信号から2Dのポーズを検出し、3D空間に持ち上げる。 単純な2段階のアプローチは、公開データセット上の大きなマージンによる最先端のエラーを低減する。
  論文  参考訳（メタデータ） (2020-03-25T00:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。