論文の概要: Stable-Hair: Real-World Hair Transfer via Diffusion Model

• arxiv url: http://arxiv.org/abs/2407.14078v2
• Date: Tue, 10 Dec 2024 16:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:33:48.838915
• Title: Stable-Hair: Real-World Hair Transfer via Diffusion Model
• Title（参考訳）: 安定ヘア:拡散モデルによる実世界のヘアトランスファー
• Authors: Yuxuan Zhang, Qing Zhang, Yiren Song, Jichao Zhang, Hao Tang, Jiaming Liu,
• Abstract要約: 現在のヘアトランスファー手法は、多様で複雑なヘアスタイルを扱うのに苦労し、現実のシナリオにおける適用性を制限している。 そこで本研究では,現実世界のヘアスタイルを仮想ヘアトライオンのためにユーザが提供する顔に堅牢に転送する,新しい拡散型ヘアトランスファーフレームワークであるtextitStable-Hairを提案する。
• 参考スコア（独自算出の注目度）: 26.880396643803998
• License:
• Abstract: Current hair transfer methods struggle to handle diverse and intricate hairstyles, limiting their applicability in real-world scenarios. In this paper, we propose a novel diffusion-based hair transfer framework, named \textit{Stable-Hair}, which robustly transfers a wide range of real-world hairstyles to user-provided faces for virtual hair try-on. To achieve this goal, our Stable-Hair framework is designed as a two-stage pipeline. In the first stage, we train a Bald Converter alongside stable diffusion to remove hair from the user-provided face images, resulting in bald images. In the second stage, we specifically designed a Hair Extractor and a Latent IdentityNet to transfer the target hairstyle with highly detailed and high-fidelity to the bald image. The Hair Extractor is trained to encode reference images with the desired hairstyles, while the Latent IdentityNet ensures consistency in identity and background. To minimize color deviations between source images and transfer results, we introduce a novel Latent ControlNet architecture, which functions as both the Bald Converter and Latent IdentityNet. After training on our curated triplet dataset, our method accurately transfers highly detailed and high-fidelity hairstyles to the source images. Extensive experiments demonstrate that our approach achieves state-of-the-art performance compared to existing hair transfer methods. Project page: \textcolor{red}{\url{https://xiaojiu-z.github.io/Stable-Hair.github.io/}}
• Abstract（参考訳）: 現在のヘアトランスファー手法は、多様で複雑なヘアスタイルを扱うのに苦労し、現実のシナリオにおける適用性を制限している。 本稿では,現実のヘアスタイルを仮想ヘアアップのためにユーザが提供する顔に堅牢に転送する,新しい拡散型ヘアトランスファーフレームワークである「textit{Stable-Hair}」を提案する。 この目標を達成するため、私たちのStable-Hairフレームワークは2段階のパイプラインとして設計されています。 第1段階では、安定した拡散とともにバルドコンバータを訓練し、ユーザが提供する顔画像から毛髪を除去し、ハゲ画像を生成する。 第2段階では,特にヘアエクストラクタとラテントアイデンティティネットを設計し,ターゲットのヘアスタイルを高精細かつ高忠実にハゲ画像に転送する。 ヘアエクストラクタは、所望のヘアスタイルで参照画像をエンコードするように訓練されており、Latent IdentityNetは、アイデンティティとバックグラウンドの一貫性を保証する。 そこで本研究では,Bald ConverterとLatent IdentityNetの両方として機能する,新しいLatent ControlNetアーキテクチャを提案する。 キュレートした三重項データセットをトレーニングした後,高精度かつ高忠実な髪型をソース画像に正確に転送する。 以上の結果から,本手法は既存のヘア転写法と比較して最先端の性能を達成できることが示唆された。 プロジェクトページ: \textcolor{red}{\url{https://xiaojiu-z.github.io/Stable-Hair.github.io/}}

関連論文リスト

• HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion [43.3852998245422]
  我々は,多段ヘアスタイルブレンド(MHB)を導入し,拡散遅延空間における毛髪の色と髪型を効果的に分離する。 また、髪の色をターゲット領域に合わせるために、ワープモジュールをトレーニングします。 本手法は多色ヘアスタイルの複雑さに対処するだけでなく,原色保存の課題にも対処する。
  論文  参考訳（メタデータ） (2024-10-29T06:51:52Z)
• What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer [35.80645300182437]
  既存のヘアスタイルのトランスファーアプローチは、トリミングされた顔画像とアライメントされた顔画像に基づいて事前訓練されたStyleGANに依存している。 本稿では,現実のシナリオに適用可能な一段階のヘアスタイル転移拡散モデルであるHairFusionを提案する。 本手法は, ヘアスタイルと周辺特性の整合性を維持する既存手法と比較して, 最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-29T11:30:21Z)
• HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach [3.737361598712633]
  本稿では,高分解能,ほぼリアルタイムの性能,再現性に優れたHairFastモデルを提案する。 我々のソリューションは、StyleGANのFS潜在空間で動作する新しいアーキテクチャを含む。 ヘアスタイルの形状と色を異なる画像から転送する最も難しいシナリオでは、Nvidia V100上で1秒未満で実行することができる。
  論文  参考訳（メタデータ） (2024-04-01T12:59:49Z)
• HAAR: Text-Conditioned Generative Model of 3D Strand-based Human Hairstyles [85.12672855502517]
  そこで本研究では,3次元ヘアスタイルのための新しいストランドベース生成モデルであるHAARについて紹介する。 テキスト入力に基づいて、HAARは現代のコンピュータグラフィックスエンジンで生産レベルの資産として使用できる3Dヘアスタイルを生成する。
  論文  参考訳（メタデータ） (2023-12-18T19:19:32Z)
• Text-Guided Generation and Editing of Compositional 3D Avatars [59.584042376006316]
  私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。 既存の方法はリアリズムを欠いているか、非現実的な形状を作り出すか、編集をサポートしていないかのいずれかである。
  論文  参考訳（メタデータ） (2023-09-13T17:59:56Z)
• StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant Hairstyle Transfer [8.712040236361926]
  本論文は、バーチャルヘアトライオンのために、参照画像のヘアスタイルを入力写真に転送することを目的とする。 本稿では、参照合成の「2つの異なるビュー」を用いて、隠蔽領域や曖昧な領域を意味的にガイドする多視点最適化フレームワークを提案する。 当社のフレームワークは,より難易度の高いヘアトランスファーシナリオからなるユーザスタディにおいて,高品質な結果が得られ,先行作業よりも優れています。
  論文  参考訳（メタデータ） (2023-04-05T20:49:55Z)
• HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for Single-View 3D Hair Modeling [55.57803336895614]
  学習型単一視点3Dヘアモデリングの課題に対処する。 まず, ストランドマップと深度マップからなる新しい中間表現をHairStepと呼ぶ。 HairStepは正確な3Dヘアモデリングに十分な情報を提供するだけでなく、実際の画像から推測できる。
  論文  参考訳（メタデータ） (2023-03-05T15:28:13Z)
• Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment [29.782276472922398]
  本稿では,ポーズ不変なヘアスタイル転送モデルを提案する。 提案モデルでは,より大きなポーズの違い下で髪型を転写し,局所的な髪型テクスチャを保った。
  論文  参考訳（メタデータ） (2022-08-16T14:23:54Z)
• HairFIT: Pose-Invariant Hairstyle Transfer via Flow-based Hair Alignment and Semantic-Region-Aware Inpainting [26.688276902813495]
  ポーズ不変ヘアスタイル転送のための新しいフレームワークであるHairFITを提案する。 本モデルは,フローベース毛髪アライメントと毛髪合成の2段階からなる。 我々のSIM推定器は、画像中の隠蔽領域を異なる意味領域に分割し、塗装中の特徴を反映する。
  論文  参考訳（メタデータ） (2022-06-17T06:55:20Z)
• Progressive and Aligned Pose Attention Transfer for Person Image Generation [59.87492938953545]
  本稿では,ある人物のポーズを対象のポーズに移す,新たなポーズ移動のための生成的広告ネットワークを提案する。 Pose-Attentional Transfer Block (PATB) と Aligned Pose-Attentional Transfer Bloc (APATB) の2種類のブロックを使用します。 Market-1501およびDeepFashionデータセットにおけるモデルの有効性を定量的および定性測定を用いて検証する。
  論文  参考訳（メタデータ） (2021-03-22T07:24:57Z)
• MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing [122.82964863607938]
  MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。 我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。 また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
  論文  参考訳（メタデータ） (2020-10-30T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。