論文の概要: NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and
Animation
- arxiv url: http://arxiv.org/abs/2212.00613v3
- Date: Thu, 12 Oct 2023 00:27:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 04:22:40.523243
- Title: NeuWigs: A Neural Dynamic Model for Volumetric Hair Capture and
Animation
- Title（参考訳）: NeuWigs: ボリュームヘアキャプチャとアニメーションのためのニューラルダイナミックモデル
- Authors: Ziyan Wang, Giljoo Nam, Tuur Stuyck, Stephen Lombardi, Chen Cao, Jason
Saragih, Michael Zollhoefer, Jessica Hodgins and Christoph Lassner
- Abstract要約: 人間の髪のキャプチャーとアニメーションは、バーチャルリアリティーのための現実的なアバターを作成する上で大きな課題の2つだ。
データ駆動方式でこれらの課題に対処するために、頭から独立して毛髪をモデル化する2段階のアプローチを提案する。
本モデルでは, 毛髪観察を駆動信号として必要とせず, 新規な毛髪アニメーションを作成することができる。
- 参考スコア（独自算出の注目度）: 23.625243364572867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The capture and animation of human hair are two of the major challenges in
the creation of realistic avatars for the virtual reality. Both problems are
highly challenging, because hair has complex geometry and appearance, as well
as exhibits challenging motion. In this paper, we present a two-stage approach
that models hair independently from the head to address these challenges in a
data-driven manner. The first stage, state compression, learns a
low-dimensional latent space of 3D hair states containing motion and
appearance, via a novel autoencoder-as-a-tracker strategy. To better
disentangle the hair and head in appearance learning, we employ multi-view hair
segmentation masks in combination with a differentiable volumetric renderer.
The second stage learns a novel hair dynamics model that performs temporal hair
transfer based on the discovered latent codes. To enforce higher stability
while driving our dynamics model, we employ the 3D point-cloud autoencoder from
the compression stage for de-noising of the hair state. Our model outperforms
the state of the art in novel view synthesis and is capable of creating novel
hair animations without having to rely on hair observations as a driving
signal. Project page is here https://ziyanw1.github.io/neuwigs/.
- Abstract（参考訳）: 人間の髪のキャプチャーとアニメーションは、バーチャルリアリティーのための現実的なアバターを作成する上で大きな課題の2つだ。
毛髪は複雑な形状と外観を持ち、また困難な動きを示すため、どちらの問題も非常に困難である。
本稿では,毛髪を頭部から独立にモデル化し,これらの課題をデータ駆動方式で解決する2段階のアプローチを提案する。
第1段階である状態圧縮は、新しいオートエンコーダ・アズ・ア・トラックラー戦略により、動きと外観を含む3dヘア状態の低次元潜在空間を学習する。
外観学習における毛髪と頭部の絡み合いを改善するため,多視点の毛髪セグメンテーションマスクと微分可能なボリュームレンダラを併用した。
第2段階は、検出された潜在コードに基づいて時間的毛髪移動を行う新しい毛髪動力学モデルを学ぶ。
動的モデルを駆動しながら高い安定性を実現するため, 圧縮段階から3Dポイントクラウドオートエンコーダを用いてヘア状態の除音を行う。
提案モデルは,新しい視点合成の技法を上回っており,毛髪観察を駆動信号として必要とせずに,新たな髪髪アニメーションを作成できる。
プロジェクトページはhttps://ziyanw1.github.io/neuwigs/。
関連論文リスト
- Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360° [25.86740659962933]
アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。
本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。
実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
論文 参考訳（メタデータ） (2024-08-01T05:46:06Z) - MonoHair: High-Fidelity Hair Modeling from a Monocular Video [40.27026803872373]
MonoHairはモノクロビデオから高忠実度毛髪再構築を実現するための汎用フレームワークである。
提案手法は, 毛髪のモデリング過程を, 正確な外装再構築と内部構造推定の2つの段階に分岐させる。
実験により,本手法は多彩なヘアスタイルにまたがって頑健性を示し,最先端の性能を実現していることが示された。
論文 参考訳（メタデータ） (2024-03-27T08:48:47Z) - HAAR: Text-Conditioned Generative Model of 3D Strand-based Human
Hairstyles [85.12672855502517]
そこで本研究では,3次元ヘアスタイルのための新しいストランドベース生成モデルであるHAARについて紹介する。
テキスト入力に基づいて、HAARは現代のコンピュータグラフィックスエンジンで生産レベルの資産として使用できる3Dヘアスタイルを生成する。
論文 参考訳（メタデータ） (2023-12-18T19:19:32Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - Learning Disentangled Avatars with Hybrid 3D Representations [102.9632315060652]
本稿では,DELTA(Disentangled Avatars)について述べる。
身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。
これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
論文 参考訳（メタデータ） (2023-09-12T17:59:36Z) - HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for
Single-View 3D Hair Modeling [55.57803336895614]
学習型単一視点3Dヘアモデリングの課題に対処する。
まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。
HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
論文 参考訳（メタデータ） (2023-03-05T15:28:13Z) - Controllable Radiance Fields for Dynamic Face Synthesis [125.48602100893845]
非剛性運動を示す顔力学の生成モデル合成を明示的に制御する方法について検討する。
制御可能な放射場(CoRF)
頭部画像・映像データから,CoRFは3次元認識可能であり,識別,視聴方向,動きの編集が可能であることを示す。
論文 参考訳（メタデータ） (2022-10-11T23:17:31Z) - HVH: Learning a Hybrid Neural Volumetric Representation for Dynamic Hair
Performance Capture [11.645769995924548]
ライフスタイルの毛髪を捕えることは、その微細な幾何学的構造、複雑な物理的相互作用、そして非自明な視覚的外観のために特に困難である。
本稿では,数千のプリミティブで構成された斬新な容積表現を用いる。
提案手法は,記録されたマルチビューシーケンスのリアルなレンダリングを生成するだけでなく,新しい制御信号を提供することで,新しいヘア構成のレンダリングを生成する。
論文 参考訳（メタデータ） (2021-12-13T18:57:50Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。