論文の概要: Face-PAST: Facial Pose Awareness and Style Transfer Networks
- arxiv url: http://arxiv.org/abs/2307.09020v2
- Date: Thu, 19 Oct 2023 13:51:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 19:29:48.964064
- Title: Face-PAST: Facial Pose Awareness and Style Transfer Networks
- Title(参考訳): Face-PAST: 顔の姿勢認識とスタイル伝達ネットワーク
- Authors: Sunder Ali Khowaja, Lewis Nkenyereye, Jiseok Yoon, Ik Hyun Lee, Kapal
Dev
- Abstract要約: 高品質なスタイリング画像を生成しながら、顔の詳細や構造を保存できる顔ポーズ認識とスタイル転送(Face-PAST)ネットワークを提案する。
学習過程はカリキュラムの学習戦略に適応し、生成空間における効率的で柔軟なスタイルの混合を行う。
- 参考スコア(独自算出の注目度): 11.046019517265337
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Facial style transfer has been quite popular among researchers due to the
rise of emerging technologies such as eXtended Reality (XR), Metaverse, and
Non-Fungible Tokens (NFTs). Furthermore, StyleGAN methods along with
transfer-learning strategies have reduced the problem of limited data to some
extent. However, most of the StyleGAN methods overfit the styles while adding
artifacts to facial images. In this paper, we propose a facial pose awareness
and style transfer (Face-PAST) network that preserves facial details and
structures while generating high-quality stylized images. Dual StyleGAN
inspires our work, but in contrast, our work uses a pre-trained style
generation network in an external style pass with a residual modulation block
instead of a transform coding block. Furthermore, we use the gated mapping unit
and facial structure, identity, and segmentation losses to preserve the facial
structure and details. This enables us to train the network with a very limited
amount of data while generating high-quality stylized images. Our training
process adapts curriculum learning strategy to perform efficient and flexible
style mixing in the generative space. We perform extensive experiments to show
the superiority of Face-PAST in comparison to existing state-of-the-art
methods.
- Abstract(参考訳): eXtended Reality (XR)、Metaverse、Non-Fungible Tokens (NFTs)などの新興技術の台頭により、顔の移動は研究者の間で非常に人気がある。
さらに、StyleGAN法は、転送学習戦略とともに、限られたデータの問題をある程度減らした。
しかし、StyleGANメソッドのほとんどは、顔画像にアーティファクトを追加しながら、スタイルを過度に適合させる。
本稿では,高品質なスタイリング画像を生成しつつ,顔の詳細や構造を保存した顔ポーズ認識とスタイル転送(Face-PAST)ネットワークを提案する。
デュアルスタイルGANは我々の研究を刺激するが、対照的に、我々の研究は、変換符号化ブロックの代わりに残留変調ブロックを持つ外部スタイルパスのトレーニング済みスタイル生成ネットワークを使用する。
さらに、ゲートマッピングユニットと顔の構造、アイデンティティ、セグメンテーションの損失を利用して、顔の構造と詳細を保存します。
これにより、高品質なスタイリング画像を生成しながら、非常に限られた量のデータでネットワークをトレーニングすることができる。
学習過程はカリキュラム学習戦略に適応し、生成空間における効率的で柔軟なスタイルの混合を行う。
我々は、既存の最先端手法と比較して、Face-PASTの優位性を示す広範囲な実験を行った。
関連論文リスト
- Optimal-Landmark-Guided Image Blending for Face Morphing Attacks [8.024953195407502]
本稿では,最適なランドマーク誘導画像ブレンディングを用いた顔形態形成攻撃を行うための新しい手法を提案する。
提案手法は, ランドマークの最適化とグラフ畳み込みネットワーク(GCN)によるランドマークと外観特徴の組み合わせにより, 従来のアプローチの限界を克服する。
論文 参考訳(メタデータ) (2024-01-30T03:45:06Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳(メタデータ) (2023-12-17T23:22:37Z) - Multi-Modal Face Stylization with a Generative Prior [27.79677001997915]
MMFSはStyleGANの強みを活用することでマルチモーダル顔スタイリングをサポートする。
2段階のトレーニング戦略を導入し、最初の段階でエンコーダをトレーニングし、特徴マップをStyleGANと整列させる。
第2段階では、ネットワーク全体が、スタイル化された顔生成のための芸術的データで微調整される。
論文 参考訳(メタデータ) (2023-05-29T11:01:31Z) - 3D Face Arbitrary Style Transfer [18.09280257466941]
FDST(Face-Guided Dual Style Transfer)という新しい手法を提案する。
FDSTは3Dデカップリングモジュールを使用して顔の形状とテクスチャを分離する。
FDSTは、領域制御可能なスタイル転送、高忠実な顔テクスチャ再構築、芸術的な顔再構成など、多くの下流タスクに適用可能であることを示す。
論文 参考訳(メタデータ) (2023-03-14T08:51:51Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳(メタデータ) (2023-03-10T18:59:33Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-03-09T04:35:00Z) - StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
StyleSwapという簡潔で効果的なフレームワークを紹介します。
私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。
最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
論文 参考訳(メタデータ) (2022-09-27T16:35:16Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳(メタデータ) (2022-05-19T13:11:24Z) - Styleverse: Towards Identity Stylization across Heterogeneous Domains [70.13327076710269]
異種ドメイン間のIDS(IDentity Stylization)という課題を提案する。
有効な異種ネットワークベースのフレームワークである$Styleverse$を使用し、単一のドメイン認識ジェネレータを使用します。
$Styleverseは、他の最先端の方法と比較して、より忠実なアイデンティティスタイリングを実現する。
論文 参考訳(メタデータ) (2022-03-02T04:23:01Z) - FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces [9.664892091493586]
FacialGANは、リッチなスタイル転送と対話的な顔属性操作を可能にする新しいフレームワークである。
モデルが視覚的に説得力のある結果を生み出す能力は,スタイル伝達,属性操作,多様性,顔認証などである。
論文 参考訳(メタデータ) (2021-10-18T15:53:38Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳(メタデータ) (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。