論文の概要: BlendGAN: Implicitly GAN Blending for Arbitrary Stylized Face Generation
- arxiv url: http://arxiv.org/abs/2110.11728v1
- Date: Fri, 22 Oct 2021 12:00:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 15:40:10.804553
- Title: BlendGAN: Implicitly GAN Blending for Arbitrary Stylized Face Generation
- Title(参考訳): BlendGAN: 任意型顔生成のための暗黙のGANブレンド
- Authors: Mingcong Liu, Qiang Li, Zekui Qin, Guoxin Zhang, Pengfei Wan, Wen
Zheng
- Abstract要約: 任意の顔生成のためのBlendGANを提案する。
まず、任意のスタイルの表現を抽出するために、ジェネリックアートデータセット上で自己教師型スタイルエンコーダを訓練する。
さらに、顔とスタイルの表現を暗黙的にブレンドし、任意のスタイル化効果を制御するために、重み付け混合モジュール(WBM)を提案する。
- 参考スコア(独自算出の注目度): 9.370501805054344
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generative Adversarial Networks (GANs) have made a dramatic leap in
high-fidelity image synthesis and stylized face generation. Recently, a
layer-swapping mechanism has been developed to improve the stylization
performance. However, this method is incapable of fitting arbitrary styles in a
single model and requires hundreds of style-consistent training images for each
style. To address the above issues, we propose BlendGAN for arbitrary stylized
face generation by leveraging a flexible blending strategy and a generic
artistic dataset. Specifically, we first train a self-supervised style encoder
on the generic artistic dataset to extract the representations of arbitrary
styles. In addition, a weighted blending module (WBM) is proposed to blend face
and style representations implicitly and control the arbitrary stylization
effect. By doing so, BlendGAN can gracefully fit arbitrary styles in a unified
model while avoiding case-by-case preparation of style-consistent training
images. To this end, we also present a novel large-scale artistic face dataset
AAHQ. Extensive experiments demonstrate that BlendGAN outperforms
state-of-the-art methods in terms of visual quality and style diversity for
both latent-guided and reference-guided stylized face synthesis.
- Abstract(参考訳): generative adversarial networks (gans)は、高忠実度画像合成とスタイリッシュな顔生成において劇的な飛躍を遂げた。
近年,スタイライゼーション性能を向上させるための層スワッピング機構が開発されている。
しかし、この方法は任意のスタイルを1つのモデルに適合させることができず、各スタイルに数百のスタイル一貫性のある訓練画像を必要とする。
そこで本稿では,フレキシブルブレンディング戦略と汎用的アーティスティックデータセットを用いて,任意のスタイリッシュな顔生成のためのblendganを提案する。
具体的には、まず、ジェネリックアーティカルデータセット上で自己教師付きスタイルエンコーダを訓練し、任意のスタイルの表現を抽出する。
さらに,顔とスタイル表現を暗黙的にブレンドし,任意のスタイライゼーション効果を制御するために,重み付きブレンディングモジュール(wbm)を提案する。
これにより、BlendGANは任意のスタイルを統一されたモデルに適切に適合させ、スタイル一貫性のあるトレーニング画像のケース・バイ・ケース作成を回避できる。
この目的のために,新しい大規模顔データセットAAHQを提案する。
広汎な実験により、BlendGANは、潜在誘導型と参照誘導型の両方の顔合成において、視覚的品質とスタイルの多様性の観点から、最先端の手法よりも優れていることが示された。
関連論文リスト
- Deformable One-shot Face Stylization via DINO Semantic Guidance [12.771707124161665]
本稿では、外観と構造を同時に考慮したワンショット顔スタイリングの問題に対処する。
従来の単一イメージスタイルの参照から切り離された変形認識顔のスタイリングを探索し、代わりにリアルスタイルのイメージペアを選択する。
論文 参考訳(メタデータ) (2024-03-01T11:30:55Z) - HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced
Diffusion Models [84.12784265734238]
Arbitrary Style Transfer (AST)の目標は、あるスタイル参照の芸術的特徴を所定の画像/ビデオに注入することである。
各種のセマンティックな手がかりに基づいてスタイリング結果を明示的にカスタマイズできるHiCASTを提案する。
新たな学習目標をビデオ拡散モデルトレーニングに活用し,フレーム間の時間的一貫性を大幅に向上させる。
論文 参考訳(メタデータ) (2024-01-11T12:26:23Z) - High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。
まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。
第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文 参考訳(メタデータ) (2023-12-17T23:22:37Z) - Face-PAST: Facial Pose Awareness and Style Transfer Networks [11.046019517265337]
高品質なスタイリング画像を生成しながら、顔の詳細や構造を保存できる顔ポーズ認識とスタイル転送(Face-PAST)ネットワークを提案する。
学習過程はカリキュラムの学習戦略に適応し、生成空間における効率的で柔軟なスタイルの混合を行う。
論文 参考訳(メタデータ) (2023-07-18T07:20:31Z) - Multi-Modal Face Stylization with a Generative Prior [27.79677001997915]
MMFSはStyleGANの強みを活用することでマルチモーダル顔スタイリングをサポートする。
2段階のトレーニング戦略を導入し、最初の段階でエンコーダをトレーニングし、特徴マップをStyleGANと整列させる。
第2段階では、ネットワーク全体が、スタイル化された顔生成のための芸術的データで微調整される。
論文 参考訳(メタデータ) (2023-05-29T11:01:31Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-03-09T04:35:00Z) - StyleSwap: Style-Based Generator Empowers Robust Face Swapping [90.05775519962303]
StyleSwapという簡潔で効果的なフレームワークを紹介します。
私たちの中核となる考え方は、スタイルベースのジェネレータを活用して、高忠実で堅牢な顔交換を可能にすることです。
最小限の変更だけで、StyleGAN2アーキテクチャはソースとターゲットの両方から望まれる情報をうまく処理できる。
論文 参考訳(メタデータ) (2022-09-27T16:35:16Z) - Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。
本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
論文 参考訳(メタデータ) (2022-07-24T07:41:31Z) - DrawingInStyles: Portrait Image Generation and Editing with Spatially
Conditioned StyleGAN [30.465955123686335]
SC-StyleGANは,従来のStyleGAN生成プロセスに空間制約を注入する。
SC-StyleGANに基づいてDrawingInStylesを提案する。DrawingInStylesはプロでないユーザのための新しい描画インタフェースで、高品質でリアルな顔画像を容易に作成できる。
論文 参考訳(メタデータ) (2022-03-05T14:54:07Z) - StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval [119.03470556503942]
クロスモーダルマッチング問題は通常、写真とスケッチのモダリティ間で共有されるセマンティックコンテンツを保存する共同埋め込み空間を学習することによって解決される。
効果的なモデルには、このスタイルの多様性を明確に説明する必要がある。
我々のモデルは、モデム間で共有されるセマンティックコンテンツだけでなく、目に見えないユーザースタイルにも適応できるので、モデルは真に不可知的です。
論文 参考訳(メタデータ) (2021-03-29T15:44:19Z) - Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。
本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
論文 参考訳(メタデータ) (2020-07-17T15:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。