Fugu-MT 論文翻訳(概要): What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer

論文の概要: What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer

arxiv url: http://arxiv.org/abs/2408.16450v1
Date: Thu, 29 Aug 2024 11:30:21 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 14:02:47.172256
Title: What to Preserve and What to Transfer: Faithful, Identity-Preserving Diffusion-based Hairstyle Transfer
Title（参考訳）: 保存すべきもの、転送すべきもの:忠実でアイデンティティを保った拡散に基づくヘアスタイル転送
Authors: Chaeyeon Chung, Sunghyun Park, Jeongho Kim, Jaegul Choo,
Abstract要約: 既存のヘアスタイルのトランスファーアプローチは、トリミングされた顔画像とアライメントされた顔画像に基づいて事前訓練されたStyleGANに依存している。本稿では,現実のシナリオに適用可能な一段階のヘアスタイル転移拡散モデルであるHairFusionを提案する。本手法は, ヘアスタイルと周辺特性の整合性を維持する既存手法と比較して, 最先端性能を実現する。
参考スコア（独自算出の注目度）: 35.80645300182437
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Hairstyle transfer is a challenging task in the image editing field that modifies the hairstyle of a given face image while preserving its other appearance and background features. The existing hairstyle transfer approaches heavily rely on StyleGAN, which is pre-trained on cropped and aligned face images. Hence, they struggle to generalize under challenging conditions such as extreme variations of head poses or focal lengths. To address this issue, we propose a one-stage hairstyle transfer diffusion model, HairFusion, that applies to real-world scenarios. Specifically, we carefully design a hair-agnostic representation as the input of the model, where the original hair information is thoroughly eliminated. Next, we introduce a hair align cross-attention (Align-CA) to accurately align the reference hairstyle with the face image while considering the difference in their face shape. To enhance the preservation of the face image's original features, we leverage adaptive hair blending during the inference, where the output's hair regions are estimated by the cross-attention map in Align-CA and blended with non-hair areas of the face image. Our experimental results show that our method achieves state-of-the-art performance compared to the existing methods in preserving the integrity of both the transferred hairstyle and the surrounding features. The codes are available at https://github.com/cychungg/HairFusion.
Abstract（参考訳）: ヘアスタイル転送は、画像編集領域において、他の外観や背景の特徴を保ちながら、所定の顔画像のヘアスタイルを変更する難しいタスクである。既存のヘアスタイルのトランスファーアプローチはStyleGANに大きく依存している。そのため、頭部ポーズの極端な変化や焦点距離といった困難な条件下での一般化に苦慮する。この問題に対処するために,実世界のシナリオに適用可能な一段階のヘアスタイル転写拡散モデルであるHairFusionを提案する。具体的には、毛髪情報を完全に排除したモデルの入力として、毛髪非依存の表現を慎重に設計する。次に,顔形状の違いを考慮しつつ,基準髪型と顔画像とを正確に整列する毛髪整列クロスアテンション(Align-CA)を導入する。顔画像の本来の特徴の保存性を高めるために, 顔画像の非毛髪領域と混入したAlign-CAのクロスアテンションマップを用いて, 出力の毛髪領域を推定する推論において, 適応的な毛髪ブレンディングを利用する。提案手法は, ヘアスタイルと周辺特性の整合性を保ちながら, 従来の手法と比較して, 最先端性能を達成できることを実験的に示す。コードはhttps://github.com/cychungg/HairFusion.comで公開されている。

関連論文リスト

HairDiffusion: Vivid Multi-Colored Hair Editing via Latent Diffusion [43.3852998245422]
我々は,多段ヘアスタイルブレンド(MHB)を導入し,拡散遅延空間における毛髪の色と髪型を効果的に分離する。また、髪の色をターゲット領域に合わせるために、ワープモジュールをトレーニングします。本手法は多色ヘアスタイルの複雑さに対処するだけでなく,原色保存の課題にも対処する。
論文参考訳（メタデータ） (2024-10-29T06:51:52Z)
Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文参考訳（メタデータ） (2024-09-11T13:43:53Z)
Stable-Hair: Real-World Hair Transfer via Diffusion Model [23.500330976568296]
現在のヘアトランスファー法は多様で複雑なヘアスタイルを扱うのに苦労しており、現実のシナリオでは適用性が制限される。そこで本研究では,現実世界のヘアスタイルを仮想ヘアトライオンのためにユーザが提供する顔に堅牢に転送する,新しい拡散型ヘアトランスファーフレームワークであるtextitStable-Hairを提案する。
論文参考訳（メタデータ） (2024-07-19T07:14:23Z)
HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach [3.737361598712633]
本稿では,高分解能,ほぼリアルタイムの性能,再現性に優れたHairFastモデルを提案する。我々のソリューションは、StyleGANのFS潜在空間で動作する新しいアーキテクチャを含む。ヘアスタイルの形状と色を異なる画像から転送する最も難しいシナリオでは、Nvidia V100上で1秒未満で実行することができる。
論文参考訳（メタデータ） (2024-04-01T12:59:49Z)
Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting [64.43760427752532]
顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-03T06:48:35Z)
Text-Guided Generation and Editing of Compositional 3D Avatars [59.584042376006316]
私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。既存の方法はリアリズムを欠いているか、非現実的な形状を作り出すか、編集をサポートしていないかのいずれかである。
論文参考訳（メタデータ） (2023-09-13T17:59:56Z)
StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant Hairstyle Transfer [8.712040236361926]
本論文は、バーチャルヘアトライオンのために、参照画像のヘアスタイルを入力写真に転送することを目的とする。本稿では、参照合成の「2つの異なるビュー」を用いて、隠蔽領域や曖昧な領域を意味的にガイドする多視点最適化フレームワークを提案する。当社のフレームワークは,より難易度の高いヘアトランスファーシナリオからなるユーザスタディにおいて,高品質な結果が得られ,先行作業よりも優れています。
論文参考訳（メタデータ） (2023-04-05T20:49:55Z)
Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment [29.782276472922398]
本稿では,ポーズ不変なヘアスタイル転送モデルを提案する。提案モデルでは,より大きなポーズの違い下で髪型を転写し,局所的な髪型テクスチャを保った。
論文参考訳（メタデータ） (2022-08-16T14:23:54Z)
HairFIT: Pose-Invariant Hairstyle Transfer via Flow-based Hair Alignment and Semantic-Region-Aware Inpainting [26.688276902813495]
ポーズ不変ヘアスタイル転送のための新しいフレームワークであるHairFITを提案する。本モデルは,フローベース毛髪アライメントと毛髪合成の2段階からなる。我々のSIM推定器は、画像中の隠蔽領域を異なる意味領域に分割し、塗装中の特徴を反映する。
論文参考訳（メタデータ） (2022-06-17T06:55:20Z)
MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing [122.82964863607938]
MichiGANはインタラクティブな顔料の毛髪操作のための条件付き画像生成手法である。我々は, 形状, 構造, 外観, 背景など, 主要毛髪の視覚的要因のすべてをユーザコントロールする。また,直感的かつ高レベルなユーザ入力を投影することで,髪の直感的な操作を可能にするインタラクティブな肖像画毛髪編集システムを構築した。
論文参考訳（メタデータ） (2020-10-30T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。