論文の概要: HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for
Single-View 3D Hair Modeling
- arxiv url: http://arxiv.org/abs/2303.02700v2
- Date: Fri, 24 Mar 2023 03:34:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 17:37:46.775369
- Title: HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for
Single-View 3D Hair Modeling
- Title（参考訳）: HairStep:シングルビュー3次元ヘアモデリングのためのストランドマップと深さマップを用いた実写合成
- Authors: Yujian Zheng, Zirong Jin, Moran Li, Haibin Huang, Chongyang Ma,
Shuguang Cui, Xiaoguang Han
- Abstract要約: 学習型単一視点3Dヘアモデリングの課題に対処する。
まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。
HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
- 参考スコア（独自算出の注目度）: 55.57803336895614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we tackle the challenging problem of learning-based single-view
3D hair modeling. Due to the great difficulty of collecting paired real image
and 3D hair data, using synthetic data to provide prior knowledge for real
domain becomes a leading solution. This unfortunately introduces the challenge
of domain gap. Due to the inherent difficulty of realistic hair rendering,
existing methods typically use orientation maps instead of hair images as input
to bridge the gap. We firmly think an intermediate representation is essential,
but we argue that orientation map using the dominant filtering-based methods is
sensitive to uncertain noise and far from a competent representation. Thus, we
first raise this issue up and propose a novel intermediate representation,
termed as HairStep, which consists of a strand map and a depth map. It is found
that HairStep not only provides sufficient information for accurate 3D hair
modeling, but also is feasible to be inferred from real images. Specifically,
we collect a dataset of 1,250 portrait images with two types of annotations. A
learning framework is further designed to transfer real images to the strand
map and depth map. It is noted that, an extra bonus of our new dataset is the
first quantitative metric for 3D hair modeling. Our experiments show that
HairStep narrows the domain gap between synthetic and real and achieves
state-of-the-art performance on single-view 3D hair reconstruction.
- Abstract（参考訳）: 本研究では,学習型単一視点3Dヘアモデリングの課題に対処する。
実画像と3Dヘアデータを集めることの難しさから, 合成データを用いて, 実領域の事前知識を提供する手法が主流となっている。
残念ながら、これはドメインギャップの課題をもたらします。
現実的なヘアレンダリングが本質的に困難であるため、既存の手法では、ギャップを埋める入力としてヘアイメージの代わりに方向マップを使用するのが一般的である。
中間表現は不可欠であると考えるが、支配的なフィルタリングに基づく手法を用いた方向マップは不確定なノイズに敏感であり、有能な表現とは程遠い。
そこで本研究では,まずこの問題を提起し,ストランドマップと深さマップからなるヘアステップと呼ばれる新しい中間表現を提案する。
HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
具体的には、2種類のアノテーションで1,250枚の肖像画画像のデータセットを収集する。
さらに学習フレームワークは、実際の画像をストランドマップと深さマップに転送するように設計されている。
新たなデータセットの付加的なボーナスが3Dヘアモデリングの最初の定量的指標であることに注意が必要だ。
実験の結果, ヘアステップは合成とリアルの領域ギャップを狭くし, 単視点3dヘアリコンストラクションの最先端性能を実現することがわかった。
関連論文リスト
- Perm: A Parametric Representation for Multi-Style 3D Hair Modeling [22.790597419351528]
Permは、さまざまな毛髪関連の応用を促進するために設計された人間の3D毛髪のパラメトリックモデルである。
周波数領域におけるPCAに基づくストランド表現を用いて,グローバルヘア形状と局所ストランド詳細をアンタングル化することを提案する。
これらのテクスチャは後に異なる生成モデルでパラメータ化され、ヘアモデリングプロセスの一般的な段階をエミュレートする。
論文 参考訳（メタデータ） (2024-07-28T10:05:11Z) - MonoHair: High-Fidelity Hair Modeling from a Monocular Video [40.27026803872373]
MonoHairはモノクロビデオから高忠実度毛髪再構築を実現するための汎用フレームワークである。
提案手法は, 毛髪のモデリング過程を, 正確な外装再構築と内部構造推定の2つの段階に分岐させる。
実験により,本手法は多彩なヘアスタイルにまたがって頑健性を示し,最先端の性能を実現していることが示された。
論文 参考訳（メタデータ） (2024-03-27T08:48:47Z) - DI-Net : Decomposed Implicit Garment Transfer Network for Digital
Clothed 3D Human [75.45488434002898]
既存の2D仮想試行法は、各ピクセルの深さを知覚できないため、直接3Dに拡張することはできない。
本稿では,新たに試みられた3次元メッシュをシームレスに再構築可能な,分解型インプリシト衣服転送ネットワーク(DI-Net)を提案する。
論文 参考訳（メタデータ） (2023-11-28T14:28:41Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - RaBit: Parametric Modeling of 3D Biped Cartoon Characters with a
Topological-consistent Dataset [19.494054103293116]
3DBiCarは3D2Dアニメキャラクタの最初の大規模データセットであり、RaBitは対応するパラメトリックモデルである。
RaBitはSMPLのような線形ブレンド形状モデルとStyleGANベースのニューラルUVテクスチャ生成器で構築されており、形状、ポーズ、テクスチャを同時に表現している。
シングルビュー再構成やスケッチベースモデリング,3Dアニメーションなど,さまざまなアプリケーションが実施されている。
論文 参考訳（メタデータ） (2023-03-22T13:46:15Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - Neural Hair Rendering [41.25606756188364]
仮想3Dヘアモデルから写真リアルな画像を合成できる汎用的なニューラルベースヘアレンダリングパイプラインを提案する。
提案手法の主な構成要素は,両領域の外観不変構造情報を符号化する潜在空間の共有である。
論文 参考訳（メタデータ） (2020-04-28T04:36:49Z) - HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose
Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。
提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。
我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文 参考訳（メタデータ） (2020-04-03T14:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。