論文の概要: Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network

• arxiv url: http://arxiv.org/abs/2106.15121v1
• Date: Tue, 29 Jun 2021 07:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 15:27:50.345187
• Title: Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network
• Title（参考訳）: 意味駆動生成型逆ネットワークによる顔スケッチ合成
• Authors: Xingqun Qi, Muyi Sun, Weining Wang, Xiaoxiao Dong, Qi Li, Caifeng Shan
• Abstract要約: 本稿では,グローバルな構造レベルのインジェクションと局所的なクラスレベルの知識再重み付けを組み込んだセマンティック・ドリブン・ジェネレータ・ネットワーク(SDGAN)を提案する。 具体的には、入力された顔写真に対して顔の塩分濃度検出を行い、全体的な顔のテクスチャ構造を提供する。 さらに,SDGANのジェネレータにグローバルな構造的スタイルの注入を強制する前に,顔解析のレイアウトを意味的空間として活用する。
• 参考スコア（独自算出の注目度）: 10.226808267718523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face sketch synthesis has made significant progress with the development of deep neural networks in these years. The delicate depiction of sketch portraits facilitates a wide range of applications like digital entertainment and law enforcement. However, accurate and realistic face sketch generation is still a challenging task due to the illumination variations and complex backgrounds in the real scenes. To tackle these challenges, we propose a novel Semantic-Driven Generative Adversarial Network (SDGAN) which embeds global structure-level style injection and local class-level knowledge re-weighting. Specifically, we conduct facial saliency detection on the input face photos to provide overall facial texture structure, which could be used as a global type of prior information. In addition, we exploit face parsing layouts as the semantic-level spatial prior to enforce globally structural style injection in the generator of SDGAN. Furthermore, to enhance the realistic effect of the details, we propose a novel Adaptive Re-weighting Loss (ARLoss) which dedicates to balance the contributions of different semantic classes. Experimentally, our extensive experiments on CUFS and CUFSF datasets show that our proposed algorithm achieves state-of-the-art performance.
• Abstract（参考訳）: 近年、深層ニューラルネットワークの開発において、顔スケッチ合成は大きな進歩を遂げている。 スケッチ肖像画の繊細な描写は、デジタルエンターテイメントや法執行機関のような幅広い応用を促進する。 しかし、実際のシーンの照明のバリエーションや背景が複雑であることから、正確で現実的な顔スケッチ生成はいまだに難しい課題である。 これらの課題に対処するために,グローバルな構造レベルのインジェクションと局所的なクラスレベルの知識再重み付けを組み込んだ,セマンティック型生成適応ネットワーク(SDGAN)を提案する。 具体的には、入力された顔写真に対して顔の塩味検出を行い、全体の顔のテクスチャ構造を提供する。 さらに,SDGANのジェネレータにグローバルな構造的スタイル注入を強制する前に,顔解析レイアウトを意味レベル空間として活用する。 さらに,詳細の現実的な効果を高めるために,異なる意味クラスの貢献のバランスをとるために,新しい適応的再重み付け損失(arloss)を提案する。 実験的に,CUFSおよびCUFSFデータセットに関する広範な実験により,提案アルゴリズムが最先端の性能を達成することを示す。

関連論文リスト

• Learning Position-Aware Implicit Neural Network for Real-World Face Inpainting [55.87303287274932]
  顔の塗装には、モデルが顔の位置構造を正確に理解する必要がある。 本稿では,実世界のシナリオにおいて任意の形状の顔画像を扱うためのtextbfImplicit textbfNeural textbfInpainting textbfNetwork (IN$2$)を提案する。
  論文  参考訳（メタデータ） (2024-01-19T07:31:44Z)
• DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches [75.4318318890065]
  本稿では、大まかに描かれたスケッチをリアルな人体画像に変換するためのフレームワークであるDeepDrawingを紹介する。 様々なポーズの下で複雑な体形を符号化するために,我々は局所的・言語的アプローチをとる。 本手法は,最新のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成する。
  論文  参考訳（メタデータ） (2022-05-04T14:02:45Z)
• MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis [41.80739104463557]
  顔のスケッチ合成はマルチメディアエンターテイメントや法執行機関で広く使われている。 現在の画像から画像への変換に基づく顔のスケッチ合成は、小規模なデータセットでは過度に適合する問題に頻繁に遭遇する。 限られたデータで高忠実なスケッチを生成することができる顔スケッチ合成のためのエンドツーエンドメモリ指向スタイル転送ネットワーク(MOST-Net)を提案する。
  論文  参考訳（メタデータ） (2022-02-08T01:51:24Z)
• Realistic Full-Body Anonymization with Surface-Guided GANs [7.37907896341367]
  In-the-wild画像のためのリアルな人間を生成する新しい匿名化手法を提案する。 我々の設計の鍵となる部分は、画像と正準3次元表面との間の高密度画素対面対応により、対向ネットを誘導することである。 表面誘導は画像品質とサンプルの多様性を著しく改善し、非常に実用的なジェネレータが得られることを示した。
  論文  参考訳（メタデータ） (2022-01-06T18:57:59Z)
• Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative Adversarial Network with Graph Representation Learning [40.544844623958426]
  本稿では,これらの問題に対処するためのセマンティック・ドリブン・ジェネレーティブ・アドバイザリ・ネットワークを提案する。 人間の顔が異なる空間構造を持つことを考慮し、まず、生成元にクラスワイドなセマンティックレイアウトを注入する。 IntrA-class Semantic Graph (IASG) とInteR-class Structure Graph (IRSG) という2種類の表現グラフを構築した。
  論文  参考訳（メタデータ） (2022-01-05T13:14:14Z)
• Unconstrained Face Sketch Synthesis via Perception-Adaptive Network and A New Benchmark [16.126100433405398]
  顔領域と顔成分を正確に知覚することは、制約のないスケッチ合成に不可欠である、と我々は主張する。 本研究では,制約のない条件下で高品質な顔スケッチを生成できる新しい知覚適応ネットワーク(PANet)を提案する。 WildSketchと呼ばれる新しいベンチマークは、800対の顔写真スケッチを含み、ポーズ、表現、民族的起源、背景、照明に大きなバリエーションがある。
  論文  参考訳（メタデータ） (2021-12-02T07:08:31Z)
• TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network [72.41798177302175]
  本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。 具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。 上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
  論文  参考訳（メタデータ） (2021-09-16T18:15:07Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。