論文の概要: Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative
Adversarial Network with Graph Representation Learning
- arxiv url: http://arxiv.org/abs/2201.01592v2
- Date: Sun, 3 Dec 2023 07:15:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 02:25:41.942368
- Title: Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative
Adversarial Network with Graph Representation Learning
- Title（参考訳）: グラフ表現学習を用いた意味駆動生成型逆ネットワークによる二相性顔写真スケッチ合成
- Authors: Xingqun Qi, Muyi Sun, Zijian Wang, Jiaming Liu, Qi Li, Fang Zhao,
Shanghang Zhang, Caifeng Shan
- Abstract要約: 本稿では,これらの問題に対処するためのセマンティック・ドリブン・ジェネレーティブ・アドバイザリ・ネットワークを提案する。
人間の顔が異なる空間構造を持つことを考慮し、まず、生成元にクラスワイドなセマンティックレイアウトを注入する。
IntrA-class Semantic Graph (IASG) とInteR-class Structure Graph (IRSG) という2種類の表現グラフを構築した。
- 参考スコア（独自算出の注目度）: 40.544844623958426
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Biphasic face photo-sketch synthesis has significant practical value in
wide-ranging fields such as digital entertainment and law enforcement. Previous
approaches directly generate the photo-sketch in a global view, they always
suffer from the low quality of sketches and complex photo variations, leading
to unnatural and low-fidelity results. In this paper, we propose a novel
Semantic-Driven Generative Adversarial Network to address the above issues,
cooperating with Graph Representation Learning. Considering that human faces
have distinct spatial structures, we first inject class-wise semantic layouts
into the generator to provide style-based spatial information for synthesized
face photos and sketches. Additionally, to enhance the authenticity of details
in generated faces, we construct two types of representational graphs via
semantic parsing maps upon input faces, dubbed the IntrA-class Semantic Graph
(IASG) and the InteR-class Structure Graph (IRSG). Specifically, the IASG
effectively models the intra-class semantic correlations of each facial
semantic component, thus producing realistic facial details. To preserve the
generated faces being more structure-coordinated, the IRSG models inter-class
structural relations among every facial component by graph representation
learning. To further enhance the perceptual quality of synthesized images, we
present a biphasic interactive cycle training strategy by fully taking
advantage of the multi-level feature consistency between the photo and sketch.
Extensive experiments demonstrate that our method outperforms the
state-of-the-art competitors on the CUFS and CUFSF datasets.
- Abstract（参考訳）: biphasic face photo-sketch synthesisはデジタルエンターテイメントや法執行機関といった幅広い分野において重要な実用的価値を持っている。
従来のアプローチでは、グローバルビューで写真スケッチを直接生成するが、スケッチの低品質や複雑な写真のバリエーションに常に苦しむため、不自然で低忠実な結果に繋がる。
本稿では,上記の問題に対処するために,グラフ表現学習と協調して,新たな意味駆動生成型逆ネットワークを提案する。
人間の顔は、異なる空間構造を持つため、まず、ジェネレータにクラスごとに意味的なレイアウトを注入し、顔写真やスケッチを合成するためのスタイルベースの空間情報を提供する。
さらに、生成した顔の詳細の真正性を高めるため、入力面上の意味解析マップ(intra-class semantic graph (iasg) とクラス間構造グラフ (irsg) の2種類の表現グラフを構築した。
具体的には、IASGは、各顔意味成分のクラス内意味相関を効果的にモデル化し、現実的な顔の詳細を生成する。
生成した顔がより構造的協調性を保つために、IRSGはグラフ表現学習により、各顔コンポーネント間のクラス間構造関係をモデル化する。
合成画像の知覚的品質をさらに高めるため,画像とスケッチの多面的特徴の整合性をフル活用して,双相的対話的サイクルトレーニング戦略を提案する。
その結果,本手法はCUFSおよびCUFSFデータセットにおける最先端の競合よりも優れていた。
関連論文リスト
- Masked Contrastive Graph Representation Learning for Age Estimation [44.96502862249276]
本稿では,画像冗長性情報を扱う上で,グラフ表現学習の特性を利用する。
年齢推定のためのMasked Contrastive Graph Representation Learning (MCGRL)法を提案する。
実世界の顔画像データセットに対する実験結果から,提案手法が他の最先端の年齢推定手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-06-16T15:53:21Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - General Facial Representation Learning in a Visual-Linguistic Manner [45.92447707178299]
本稿では,一般の顔表現学習を視覚言語的に行うためのフレームワークFaRLを紹介する。
従来の事前学習モデルと比較して, FaRL は転送性能がよいことを示す。
本モデルは,顔解析や顔のアライメントといった顔解析タスクにおける最先端の手法を超越したモデルである。
論文 参考訳（メタデータ） (2021-12-06T15:22:05Z) - Enhancing Social Relation Inference with Concise Interaction Graph and
Discriminative Scene Representation [56.25878966006678]
我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。
人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。
PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
論文 参考訳（メタデータ） (2021-07-30T04:20:13Z) - Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network [10.226808267718523]
本稿では,グローバルな構造レベルのインジェクションと局所的なクラスレベルの知識再重み付けを組み込んだセマンティック・ドリブン・ジェネレータ・ネットワーク(SDGAN)を提案する。
具体的には、入力された顔写真に対して顔の塩分濃度検出を行い、全体的な顔のテクスチャ構造を提供する。
さらに,SDGANのジェネレータにグローバルな構造的スタイルの注入を強制する前に,顔解析のレイアウトを意味的空間として活用する。
論文 参考訳（メタデータ） (2021-06-29T07:03:56Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳（メタデータ） (2020-05-18T18:01:22Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z) - Hierarchy Composition GAN for High-fidelity Image Synthesis [57.32311953820988]
本稿では,革新的階層構成GAN(HIC-GAN)を提案する。
HIC-GANは、幾何学と外観領域における画像合成をエンドツーエンドのトレーニング可能なネットワークに組み込んでいる。
シーンテキスト画像合成, 肖像画編集, 室内レンダリングタスクの実験により, 提案したHIC-GANは, 質的, 定量的に優れた合成性能が得られることを示した。
論文 参考訳（メタデータ） (2019-05-12T11:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。