論文の概要: HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach
- arxiv url: http://arxiv.org/abs/2404.01094v2
- Date: Wed, 1 May 2024 16:12:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 17:55:26.279157
- Title: HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach
- Title（参考訳）: HairFastGAN:高速エンコーダによる実効性とロバストなヘアトランスファー
- Authors: Maxim Nikolaev, Mikhail Kuznetsov, Dmitry Vetrov, Aibek Alanov,
- Abstract要約: 本稿では,高分解能,ほぼリアルタイムの性能,再現性に優れたHairFastモデルを提案する。
我々のソリューションは、StyleGANのFS潜在空間で動作する新しいアーキテクチャを含む。
ヘアスタイルの形状と色を異なる画像から転送する最も難しいシナリオでは、Nvidia V100上で1秒未満で実行することができる。
- 参考スコア（独自算出の注目度）: 3.737361598712633
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Our paper addresses the complex task of transferring a hairstyle from a reference image to an input photo for virtual hair try-on. This task is challenging due to the need to adapt to various photo poses, the sensitivity of hairstyles, and the lack of objective metrics. The current state of the art hairstyle transfer methods use an optimization process for different parts of the approach, making them inexcusably slow. At the same time, faster encoder-based models are of very low quality because they either operate in StyleGAN's W+ space or use other low-dimensional image generators. Additionally, both approaches have a problem with hairstyle transfer when the source pose is very different from the target pose, because they either don't consider the pose at all or deal with it inefficiently. In our paper, we present the HairFast model, which uniquely solves these problems and achieves high resolution, near real-time performance, and superior reconstruction compared to optimization problem-based methods. Our solution includes a new architecture operating in the FS latent space of StyleGAN, an enhanced inpainting approach, and improved encoders for better alignment, color transfer, and a new encoder for post-processing. The effectiveness of our approach is demonstrated on realism metrics after random hairstyle transfer and reconstruction when the original hairstyle is transferred. In the most difficult scenario of transferring both shape and color of a hairstyle from different images, our method performs in less than a second on the Nvidia V100. Our code is available at https://github.com/AIRI-Institute/HairFastGAN.
- Abstract（参考訳）: 本稿では,ヘアスタイルを参照画像から入力写真に転送する複雑な作業に対処し,バーチャルヘアトライオンを行う。
この課題は、さまざまな写真のポーズ、髪型の感度、客観的な指標の欠如に適応する必要があるため、困難である。
現在の最先端のヘアスタイル転送手法では、アプローチの異なる部分に対して最適化プロセスを使用しており、非常に遅い。
同時に、より高速なエンコーダベースのモデルは、StyleGANのW+空間で動作するか、他の低次元イメージジェネレータを使用するため、非常に低品質である。
さらに、両方のアプローチは、ソースのポーズがターゲットのポーズと非常に異なる場合、そのポーズを全く考慮しないか、非効率に扱うため、ヘアスタイルの転送に問題がある。
本稿では,これらの問題を一意に解き,高分解能,ほぼリアルタイム性能を実現し,最適化問題に基づく手法よりも優れた再構成を実現するHairFastモデルを提案する。
我々のソリューションには、FS潜在空間のStyleGANで動く新しいアーキテクチャ、拡張された塗装アプローチ、アライメント改善のためのエンコーダの改善、カラー転送、ポストプロセッシングのための新しいエンコーダが含まれる。
提案手法の有効性は, 髪型移行時におけるランダムな髪型移動と再構成後のリアリズム指標で示される。
ヘアスタイルの形状と色を異なる画像から転送する最も難しいシナリオでは、Nvidia V100上で1秒未満で実行することができる。
私たちのコードはhttps://github.com/AIRI-Institute/HairFastGANで利用可能です。
関連論文リスト
- Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳（メタデータ） (2024-09-11T13:43:53Z) - Stable-Hair: Real-World Hair Transfer via Diffusion Model [23.500330976568296]
現在のヘアトランスファー法は多様で複雑なヘアスタイルを扱うのに苦労しており、現実のシナリオでは適用性が制限される。
そこで本研究では,現実世界のヘアスタイルを仮想ヘアトライオンのためにユーザが提供する顔に堅牢に転送する,新しい拡散型ヘアトランスファーフレームワークであるtextitStable-Hairを提案する。
論文 参考訳（メタデータ） (2024-07-19T07:14:23Z) - StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant
Hairstyle Transfer [8.712040236361926]
本論文は、バーチャルヘアトライオンのために、参照画像のヘアスタイルを入力写真に転送することを目的とする。
本稿では、参照合成の「2つの異なるビュー」を用いて、隠蔽領域や曖昧な領域を意味的にガイドする多視点最適化フレームワークを提案する。
当社のフレームワークは,より難易度の高いヘアトランスファーシナリオからなるユーザスタディにおいて,高品質な結果が得られ,先行作業よりも優れています。
論文 参考訳（メタデータ） (2023-04-05T20:49:55Z) - Efficient Hair Style Transfer with Generative Adversarial Networks [7.312180925669325]
本稿では,リアルタイム処理を実現するために計算コストを削減できる新しいヘアスタイルトランスファー手法であるEHGANを提案する。
この目的を達成するために、エンコーダと低解像度のジェネレータを訓練してヘアスタイルを転送し、トレーニング済みの超解像モデルで結果の分解能を高める。
EHGANは、最先端のMichigaNとLOHOの2.7倍の時間消費と1万倍以上の時間消費を必要とする。
論文 参考訳（メタデータ） (2022-10-22T18:56:16Z) - Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle
Transfer via Local-Style-Aware Hair Alignment [29.782276472922398]
本稿では,ポーズ不変なヘアスタイル転送モデルを提案する。
提案モデルでは,より大きなポーズの違い下で髪型を転写し,局所的な髪型テクスチャを保った。
論文 参考訳（メタデータ） (2022-08-16T14:23:54Z) - HairFIT: Pose-Invariant Hairstyle Transfer via Flow-based Hair Alignment
and Semantic-Region-Aware Inpainting [26.688276902813495]
ポーズ不変ヘアスタイル転送のための新しいフレームワークであるHairFITを提案する。
本モデルは,フローベース毛髪アライメントと毛髪合成の2段階からなる。
我々のSIM推定器は、画像中の隠蔽領域を異なる意味領域に分割し、塗装中の特徴を反映する。
論文 参考訳（メタデータ） (2022-06-17T06:55:20Z) - Overparameterization Improves StyleGAN Inversion [66.8300251627992]
既存の反転アプローチは、有望だが不完全な結果が得られる。
これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。
われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
論文 参考訳（メタデータ） (2022-05-12T18:42:43Z) - HairCLIP: Design Your Hair by Text and Reference Image [100.85116679883724]
本稿では, 毛髪属性を個別に, 共同で操作できる新しい毛髪編集インタラクションモードを提案する。
画像とテキストの条件を共有埋め込み空間にエンコードし、統一的なヘア編集フレームワークを提案する。
念入りに設計されたネットワーク構造と損失関数により,我々のフレームワークは高品質な毛髪編集を行うことができる。
論文 参考訳（メタデータ） (2021-12-09T18:59:58Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳（メタデータ） (2021-05-31T07:07:44Z) - MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait
Editing [122.82964863607938]
MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。
我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。
また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
論文 参考訳（メタデータ） (2020-10-30T17:59:10Z) - Real-time Universal Style Transfer on High-resolution Images via
Zero-channel Pruning [74.09149955786367]
ArtNetは、高解像度画像上の普遍的、リアルタイム、および高品質なスタイル転送を同時に達成することができる。
ArtNetとS2を使用することで、我々の手法は最先端の手法よりも2.3～107.4倍高速である。
論文 参考訳（メタデータ） (2020-06-16T09:50:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。