論文の概要: SketchHairSalon: Deep Sketch-based Hair Image Synthesis
- arxiv url: http://arxiv.org/abs/2109.07874v1
- Date: Thu, 16 Sep 2021 11:14:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 16:29:50.525481
- Title: SketchHairSalon: Deep Sketch-based Hair Image Synthesis
- Title(参考訳): SketchHairSalon:Deep Sketchベースのヘアイメージ合成
- Authors: Chufeng Xiao, Deng Yu, Xiaoguang Han, Youyi Zheng, Hongbo Fu
- Abstract要約: 所望の毛髪の構造と外観を表現したフリーハンドスケッチから直接リアルな毛髪画像を生成するための枠組みを提案する。
トレーニングされたネットワークと2つのスケッチ補完戦略に基づいて、初心者でも視覚的に喜ぶヘアイメージをデザインできる直感的なインターフェースを構築した。
- 参考スコア(独自算出の注目度): 36.79413744626908
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent deep generative models allow real-time generation of hair images from
sketch inputs. Existing solutions often require a user-provided binary mask to
specify a target hair shape. This not only costs users extra labor but also
fails to capture complicated hair boundaries. Those solutions usually encode
hair structures via orientation maps, which, however, are not very effective to
encode complex structures. We observe that colored hair sketches already
implicitly define target hair shapes as well as hair appearance and are more
flexible to depict hair structures than orientation maps. Based on these
observations, we present SketchHairSalon, a two-stage framework for generating
realistic hair images directly from freehand sketches depicting desired hair
structure and appearance. At the first stage, we train a network to predict a
hair matte from an input hair sketch, with an optional set of non-hair strokes.
At the second stage, another network is trained to synthesize the structure and
appearance of hair images from the input sketch and the generated matte. To
make the networks in the two stages aware of long-term dependency of strokes,
we apply self-attention modules to them. To train these networks, we present a
new dataset containing thousands of annotated hair sketch-image pairs and
corresponding hair mattes. Two efficient methods for sketch completion are
proposed to automatically complete repetitive braided parts and hair strokes,
respectively, thus reducing the workload of users. Based on the trained
networks and the two sketch completion strategies, we build an intuitive
interface to allow even novice users to design visually pleasing hair images
exhibiting various hair structures and appearance via freehand sketches. The
qualitative and quantitative evaluations show the advantages of the proposed
system over the existing or alternative solutions.
- Abstract(参考訳): 最近の深層生成モデルはスケッチ入力からリアルタイムに毛髪画像を生成することができる。
既存のソリューションでは、ターゲットの毛髪の形を指定するために、ユーザが提供するバイナリマスクを必要とすることが多い。
これにより、余分な労力がかかるだけでなく、複雑なヘアバウンダリを捕捉できない。
これらの解は通常、配向写像を介して毛髪構造をエンコードするが、複雑な構造をエンコードするのにはあまり効果的ではない。
色付きヘアスケッチは, 対象のヘア形状や外観を暗黙的に定義しており, 配向地図よりもヘア構造を表現しやすくなっている。
そこで本研究では, 髪型と外観を表現したフリーハンドスケッチから直接, リアルな髪型画像を生成するための2段階フレームワークであるsketchhairsalonを提案する。
最初の段階では、入力されたヘアスケッチからヘアマットを予測するネットワークをトレーニングし、オプションで非ヘアストロークをセットします。
第2段階では、入力スケッチと生成されたマットから毛髪画像の構造と外観を合成する別のネットワークを訓練する。
ストロークの長期依存性を2段階のネットワークに認識させるため,これらに自己注意モジュールを適用した。
これらのネットワークをトレーニングするために,数千のアノテートヘアスケッチイメージ対とそれに対応するヘアマットを含む新しいデータセットを提案する。
2つの効率的なスケッチ補完法を提案し, 繰り返し編み部品とヘアストロークをそれぞれ自動補完し, ユーザの作業量を削減した。
トレーニングされたネットワークと2つのスケッチ補完戦略に基づいて、初心者でも様々なヘア構造や外観を表現した視覚的に喜ぶヘアイメージをフリーハンドスケッチでデザインできる直感的なインターフェースを構築した。
定性的かつ定量的な評価は、既存のソリューションや代替ソリューションよりも提案されたシステムの利点を示している。
関連論文リスト
- HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for
Single-View 3D Hair Modeling [55.57803336895614]
学習型単一視点3Dヘアモデリングの課題に対処する。
まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。
HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
論文 参考訳(メタデータ) (2023-03-05T15:28:13Z) - HairFIT: Pose-Invariant Hairstyle Transfer via Flow-based Hair Alignment
and Semantic-Region-Aware Inpainting [26.688276902813495]
ポーズ不変ヘアスタイル転送のための新しいフレームワークであるHairFITを提案する。
本モデルは,フローベース毛髪アライメントと毛髪合成の2段階からなる。
我々のSIM推定器は、画像中の隠蔽領域を異なる意味領域に分割し、塗装中の特徴を反映する。
論文 参考訳(メタデータ) (2022-06-17T06:55:20Z) - Hair Color Digitization through Imaging and Deep Inverse Graphics [8.605763075773746]
逆グラフィックスとディープニューラルネットワークに基づくヘアカラーデジタル化手法を提案する。
提案するパイプラインは, 毛髪サンプルの色相をキャプチャし, 類似した外観で毛髪の合成画像をレンダリングする。
本手法は、制御された撮像装置、経路追跡レンダリング、および自己教師付き機械学習に基づく逆グラフィックモデルの組み合わせに基づく。
論文 参考訳(メタデータ) (2022-02-08T08:57:04Z) - HairCLIP: Design Your Hair by Text and Reference Image [100.85116679883724]
本稿では, 毛髪属性を個別に, 共同で操作できる新しい毛髪編集インタラクションモードを提案する。
画像とテキストの条件を共有埋め込み空間にエンコードし、統一的なヘア編集フレームワークを提案する。
念入りに設計されたネットワーク構造と損失関数により,我々のフレームワークは高品質な毛髪編集を行うことができる。
論文 参考訳(メタデータ) (2021-12-09T18:59:58Z) - MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait
Editing [122.82964863607938]
MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。
我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。
また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
論文 参考訳(メタデータ) (2020-10-30T17:59:10Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳(メタデータ) (2020-08-31T03:35:21Z) - Sketch-Guided Scenery Image Outpainting [83.6612152173028]
本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。
全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。
第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
論文 参考訳(メタデータ) (2020-06-17T11:34:36Z) - Intuitive, Interactive Beard and Hair Synthesis with Generative Models [38.93415643177721]
画像中の顔の毛髪の現実的な変化を合成するためのインタラクティブなアプローチを提案する。
我々はニューラルネットワークパイプラインを用いて、ターゲット画像中の顔の毛髪の現実的で詳細な画像を1秒未満で合成する。
プロトタイプのユーザインタフェースで魅力的なインタラクティブな編集結果を示し、初心者のユーザが生成した画像を段階的に洗練して、所望のヘアスタイルに適合させることができる。
論文 参考訳(メタデータ) (2020-04-15T01:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。