論文の概要: EMS: 3D Eyebrow Modeling from Single-view Images
- arxiv url: http://arxiv.org/abs/2309.12787v1
- Date: Fri, 22 Sep 2023 10:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 15:01:51.009954
- Title: EMS: 3D Eyebrow Modeling from Single-view Images
- Title(参考訳): ems: 単視点画像からの3次元アイブロウモデリング
- Authors: Chenghong Li, Leyang Jin, Yujian Zheng, Yizhou Yu, Xiaoguang Han
- Abstract要約: 単視3D視線再構成のための最初の学習ベースフレームワークであるEMSを提案する。
根の位置が著しく隠蔽されている問題に対処するために,根の局在を密度マップ推定タスクとして定式化する。
提案する全てのネットワークのトレーニングを支援するため,我々は最初の3次元合成アイブロウデータセットを構築した。
- 参考スコア(独自算出の注目度): 51.92630128111019
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Eyebrows play a critical role in facial expression and appearance. Although
the 3D digitization of faces is well explored, less attention has been drawn to
3D eyebrow modeling. In this work, we propose EMS, the first learning-based
framework for single-view 3D eyebrow reconstruction. Following the methods of
scalp hair reconstruction, we also represent the eyebrow as a set of fiber
curves and convert the reconstruction to fibers growing problem. Three modules
are then carefully designed: RootFinder firstly localizes the fiber root
positions which indicates where to grow; OriPredictor predicts an orientation
field in the 3D space to guide the growing of fibers; FiberEnder is designed to
determine when to stop the growth of each fiber. Our OriPredictor is directly
borrowing the method used in hair reconstruction. Considering the differences
between hair and eyebrows, both RootFinder and FiberEnder are newly proposed.
Specifically, to cope with the challenge that the root location is severely
occluded, we formulate root localization as a density map estimation task.
Given the predicted density map, a density-based clustering method is further
used for finding the roots. For each fiber, the growth starts from the root
point and moves step by step until the ending, where each step is defined as an
oriented line with a constant length according to the predicted orientation
field. To determine when to end, a pixel-aligned RNN architecture is designed
to form a binary classifier, which outputs stop or not for each growing step.
To support the training of all proposed networks, we build the first 3D
synthetic eyebrow dataset that contains 400 high-quality eyebrow models
manually created by artists. Extensive experiments have demonstrated the
effectiveness of the proposed EMS pipeline on a variety of different eyebrow
styles and lengths, ranging from short and sparse to long bushy eyebrows.
- Abstract(参考訳): まばたきは表情と外観において重要な役割を担っている。
顔の3次元デジタル化はよく研究されているが、3Dアイブロウモデリングにはあまり注目されていない。
本研究では,シングルビュー3D視線再構成のための最初の学習ベースフレームワークであるEMSを提案する。
また,頭皮の毛髪再建の方法に従い,アイブロウを繊維曲線の集合として表現し,その再構成を繊維成長問題に変換する。
RootFinderはまず成長の場所を示す繊維根の位置をローカライズし、OriPredictorは繊維の成長を導くために3D空間の配向場を予測し、FiberEnderは繊維の成長をいつ止めるかを決定するように設計されている。
我々のOriPredictorは、髪の復元に使われる方法を直接借りています。
毛髪と毛髪の違いを考慮すると、RootFinderとFiberEnderの両方が新たに提案されている。
具体的には,根源の位置が著しく遮蔽されているという課題に対処するため,根源位置を密度マップ推定タスクとして定式化する。
予測密度写像を考えると、根を見つけるために密度に基づくクラスタリング法がさらに用いられる。
各繊維について、成長は根点から始まり、末尾までステップバイステップで進み、各ステップは予測された配向場に応じて一定長さの配向線として定義される。
終了時期を決定するため、ピクセル対応のRNNアーキテクチャはバイナリ分類器として設計され、成長する各ステップで停止するか否かを出力する。
提案するすべてのネットワークのトレーニングをサポートするために,アーティストが手作業で作成した400の高品質アイブロウモデルを含む,最初の3d合成アイブロウデータセットを構築した。
広範囲な実験により、提案したEMSパイプラインが、短いものから疎いものから長い毛むくじゃらのものまで、様々なアイブロウのスタイルと長さに対して有効であることが示された。
関連論文リスト
- Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting [75.7154104065613]
本稿では,3次元融合過程を学習するために,教師の蒸留と自己学習によって訓練された新しい深度補完モデルを提案する。
また,地上の真理幾何に基づくシーン生成手法のベンチマーク手法も導入した。
論文 参考訳(メタデータ) (2024-04-30T17:59:40Z) - HAAR: Text-Conditioned Generative Model of 3D Strand-based Human
Hairstyles [85.12672855502517]
そこで本研究では,3次元ヘアスタイルのための新しいストランドベース生成モデルであるHAARについて紹介する。
テキスト入力に基づいて、HAARは現代のコンピュータグラフィックスエンジンで生産レベルの資産として使用できる3Dヘアスタイルを生成する。
論文 参考訳(メタデータ) (2023-12-18T19:19:32Z) - Neural Haircut: Prior-Guided Strand-Based Hair Reconstruction [4.714310894654027]
本研究は, 単眼ビデオや多視点画像から, 鎖レベルでの正確な髪形再構成を実現する手法を提案する。
ニューラル・ヘアカット(Neural Haircut)と呼ばれるこの組み合わせシステムは、再建されたヘアスタイルの高度なリアリズムとパーソナライズを実現している。
論文 参考訳(メタデータ) (2023-06-09T13:08:34Z) - HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for
Single-View 3D Hair Modeling [55.57803336895614]
学習型単一視点3Dヘアモデリングの課題に対処する。
まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。
HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
論文 参考訳(メタデータ) (2023-03-05T15:28:13Z) - FOF: Learning Fourier Occupancy Field for Monocular Real-time Human
Reconstruction [73.85709132666626]
パラメトリックモデル、ボクセルグリッド、メッシュ、暗黙のニューラル表現といった既存の表現は、高品質な結果とリアルタイムなスピードを同時に達成することが困難である。
本稿では,モノクラーリアルタイムかつ高精度な人体再構成のための,新しい強力で効率的で柔軟な3次元表現であるFourier Occupancy Field (FOF)を提案する。
FOFは、2D畳み込みニューラルネットワークと互換性があり、3D画像と2D画像のギャップを埋めることのできるマルチチャネル画像として保存することができる。
論文 参考訳(メタデータ) (2022-06-05T14:45:02Z) - NeuralHDHair: Automatic High-fidelity Hair Modeling from a Single Image
Using Implicit Neural Representations [40.14104266690989]
我々は単一画像から高忠実度毛髪をモデリングするための柔軟で完全な自動システムであるNeuralHDHairを紹介する。
本稿では,世界毛髪の特徴を表すために,新しいvoxel-aligned implicit function (VIFu)を提案する。
従来の毛髪成長アルゴリズムの効率を向上させるために, 推定した3次元毛髪の幾何学的特徴に基づいて, 局所的な神経暗黙関数を用いてストランドを成長させる。
論文 参考訳(メタデータ) (2022-05-09T10:39:39Z) - HVH: Learning a Hybrid Neural Volumetric Representation for Dynamic Hair
Performance Capture [11.645769995924548]
ライフスタイルの毛髪を捕えることは、その微細な幾何学的構造、複雑な物理的相互作用、そして非自明な視覚的外観のために特に困難である。
本稿では,数千のプリミティブで構成された斬新な容積表現を用いる。
提案手法は,記録されたマルチビューシーケンスのリアルなレンダリングを生成するだけでなく,新しい制御信号を提供することで,新しいヘア構成のレンダリングを生成する。
論文 参考訳(メタデータ) (2021-12-13T18:57:50Z) - SketchHairSalon: Deep Sketch-based Hair Image Synthesis [36.79413744626908]
所望の毛髪の構造と外観を表現したフリーハンドスケッチから直接リアルな毛髪画像を生成するための枠組みを提案する。
トレーニングされたネットワークと2つのスケッチ補完戦略に基づいて、初心者でも視覚的に喜ぶヘアイメージをデザインできる直感的なインターフェースを構築した。
論文 参考訳(メタデータ) (2021-09-16T11:14:01Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-08-18T07:44:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。