論文の概要: HairFIT: Pose-Invariant Hairstyle Transfer via Flow-based Hair Alignment
and Semantic-Region-Aware Inpainting
- arxiv url: http://arxiv.org/abs/2206.08585v1
- Date: Fri, 17 Jun 2022 06:55:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-21 02:56:35.480333
- Title: HairFIT: Pose-Invariant Hairstyle Transfer via Flow-based Hair Alignment
and Semantic-Region-Aware Inpainting
- Title（参考訳）: HairFIT:フローベースヘアアアライメントとセマンティック・レジオン・アウェア・インペインティングによるポーズ不変ヘアスタイルトランスファー
- Authors: Chaeyeon Chung, Taewoo Kim, Hyelin Nam, Seunghwan Choi, Gyojung Gu,
Sunghyun Park, Jaegul Choo
- Abstract要約: ポーズ不変ヘアスタイル転送のための新しいフレームワークであるHairFITを提案する。
本モデルは,フローベース毛髪アライメントと毛髪合成の2段階からなる。
我々のSIM推定器は、画像中の隠蔽領域を異なる意味領域に分割し、塗装中の特徴を反映する。
- 参考スコア（独自算出の注目度）: 26.688276902813495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hairstyle transfer is the task of modifying a source hairstyle to a target
one. Although recent hairstyle transfer models can reflect the delicate
features of hairstyles, they still have two major limitations. First, the
existing methods fail to transfer hairstyles when a source and a target image
have different poses (e.g., viewing direction or face size), which is prevalent
in the real world. Also, the previous models generate unrealistic images when
there is a non-trivial amount of regions in the source image occluded by its
original hair. When modifying long hair to short hair, shoulders or backgrounds
occluded by the long hair need to be inpainted. To address these issues, we
propose a novel framework for pose-invariant hairstyle transfer, HairFIT. Our
model consists of two stages: 1) flow-based hair alignment and 2) hair
synthesis. In the hair alignment stage, we leverage a keypoint-based optical
flow estimator to align a target hairstyle with a source pose. Then, we
generate a final hairstyle-transferred image in the hair synthesis stage based
on Semantic-region-aware Inpainting Mask (SIM) estimator. Our SIM estimator
divides the occluded regions in the source image into different semantic
regions to reflect their distinct features during the inpainting. To
demonstrate the effectiveness of our model, we conduct quantitative and
qualitative evaluations using multi-view datasets, K-hairstyle and VoxCeleb.
The results indicate that HairFIT achieves a state-of-the-art performance by
successfully transferring hairstyles between images of different poses, which
has never been achieved before.
- Abstract（参考訳）: 髪型変換は、ソースの髪型をターゲットの髪型に変更する作業である。
最近のヘアスタイルの転送モデルは、ヘアスタイルの繊細な特徴を反映できるが、2つの大きな制限がある。
まず、既存の方法では、ソースとターゲットイメージが異なるポーズ(例えば、視方向や顔のサイズ)を持つ場合、実際の世界で流行するヘアスタイルの転送に失敗する。
また、以前のモデルでは、元の髪に隠されたソース画像に非自明な量の領域が存在する場合、非現実的な画像を生成する。
長い髪を短い髪に修正する場合は、長い髪に隠された肩や背景を塗る必要がある。
これらの問題を解決するために,ポーズ不変ヘアスタイル転送のための新しいフレームワークであるHairFITを提案する。
私たちのモデルは2つの段階からなる。
1)フローベース毛髪アライメント
2)毛髪合成。
ヘアアライメントの段階では,キーポイントを用いたオプティカルフロー推定器を用いて,ターゲットのヘアスタイルとソースポーズをアライメントする。
次に,Semantic-rea-aware Inpainting Mask (SIM) 推定器を用いて,髪型変換画像を生成する。
我々のSIM推定器は、画像中の隠蔽領域を異なる意味領域に分割し、塗装中の特徴を反映する。
モデルの有効性を示すため,マルチビューデータセット,Kヘアスタイル,VoxCelebを用いて定量的,質的な評価を行う。
その結果,HairFITは異なるポーズの画像間でヘアスタイルの転送を成功させることで,最先端のパフォーマンスを実現することができた。
関連論文リスト
- HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion [43.3852998245422]
我々は,多段ヘアスタイルブレンド(MHB)を導入し,拡散遅延空間における毛髪の色と髪型を効果的に分離する。
また、髪の色をターゲット領域に合わせるために、ワープモジュールをトレーニングします。
本手法は多色ヘアスタイルの複雑さに対処するだけでなく,原色保存の課題にも対処する。
論文 参考訳（メタデータ） (2024-10-29T06:51:52Z) - What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer [35.80645300182437]
既存の髪型移行アプローチはStyleGANに依存している。
本稿では,現実のシナリオに適用可能な一段階のヘアスタイル転移拡散モデルであるHairFusionを提案する。
本手法は, ヘアスタイルと周辺特性の整合性を維持する既存手法と比較して, 最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-29T11:30:21Z) - Stable-Hair: Real-World Hair Transfer via Diffusion Model [26.880396643803998]
現在のヘアトランスファー手法は、多様で複雑なヘアスタイルを扱うのに苦労し、現実のシナリオにおける適用性を制限している。
そこで本研究では,現実世界のヘアスタイルを仮想ヘアトライオンのためにユーザが提供する顔に堅牢に転送する,新しい拡散型ヘアトランスファーフレームワークであるtextitStable-Hairを提案する。
論文 参考訳（メタデータ） (2024-07-19T07:14:23Z) - HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach [3.737361598712633]
本稿では,高分解能,ほぼリアルタイムの性能,再現性に優れたHairFastモデルを提案する。
我々のソリューションは、StyleGANのFS潜在空間で動作する新しいアーキテクチャを含む。
ヘアスタイルの形状と色を異なる画像から転送する最も難しいシナリオでは、Nvidia V100上で1秒未満で実行することができる。
論文 参考訳（メタデータ） (2024-04-01T12:59:49Z) - HAAR: Text-Conditioned Generative Model of 3D Strand-based Human
Hairstyles [85.12672855502517]
そこで本研究では,3次元ヘアスタイルのための新しいストランドベース生成モデルであるHAARについて紹介する。
テキスト入力に基づいて、HAARは現代のコンピュータグラフィックスエンジンで生産レベルの資産として使用できる3Dヘアスタイルを生成する。
論文 参考訳（メタデータ） (2023-12-18T19:19:32Z) - Text-Guided Generation and Editing of Compositional 3D Avatars [59.584042376006316]
私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。
既存の方法はリアリズムを欠いているか、非現実的な形状を作り出すか、編集をサポートしていないかのいずれかである。
論文 参考訳（メタデータ） (2023-09-13T17:59:56Z) - StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant
Hairstyle Transfer [8.712040236361926]
本論文は、バーチャルヘアトライオンのために、参照画像のヘアスタイルを入力写真に転送することを目的とする。
本稿では、参照合成の「2つの異なるビュー」を用いて、隠蔽領域や曖昧な領域を意味的にガイドする多視点最適化フレームワークを提案する。
当社のフレームワークは,より難易度の高いヘアトランスファーシナリオからなるユーザスタディにおいて,高品質な結果が得られ,先行作業よりも優れています。
論文 参考訳（メタデータ） (2023-04-05T20:49:55Z) - HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for
Single-View 3D Hair Modeling [55.57803336895614]
学習型単一視点3Dヘアモデリングの課題に対処する。
まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。
HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
論文 参考訳（メタデータ） (2023-03-05T15:28:13Z) - StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face
Reenactment [47.27033282706179]
本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。
提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-09-27T13:22:35Z) - Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle
Transfer via Local-Style-Aware Hair Alignment [29.782276472922398]
本稿では,ポーズ不変なヘアスタイル転送モデルを提案する。
提案モデルでは,より大きなポーズの違い下で髪型を転写し,局所的な髪型テクスチャを保った。
論文 参考訳（メタデータ） (2022-08-16T14:23:54Z) - MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait
Editing [122.82964863607938]
MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。
我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。
また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
論文 参考訳（メタデータ） (2020-10-30T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。