論文の概要: Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative
Adversarial Network with Graph Representation Learning
- arxiv url: http://arxiv.org/abs/2201.01592v1
- Date: Wed, 5 Jan 2022 13:14:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-06 14:21:32.500510
- Title: Biphasic Face Photo-Sketch Synthesis via Semantic-Driven Generative
Adversarial Network with Graph Representation Learning
- Title（参考訳）: グラフ表現学習を用いた意味駆動生成型逆ネットワークによる二相性顔写真スケッチ合成
- Authors: Xingqun Qi, Muyi Sun, Qi Li, Caifeng Shan
- Abstract要約: 両顔写真スケッチ合成は、デジタルエンターテイメントや法執行機関といった幅広い分野に適用できる。
写実的な写真や鮮明なスケッチを作ることは、スケッチの質の低さと、実際のシーンにおける複雑な写真の変化によって、大きな課題に悩まされます。
本稿では,これらの問題に対処するためのセマンティック・ドリブン・ジェネレーティブ・アドバイザリ・ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 10.34184872918574
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In recent years, significant progress has been achieved in biphasic face
photo-sketch synthesis with the development of Generative Adversarial Network
(GAN). Biphasic face photo-sketch synthesis could be applied in wide-ranging
fields such as digital entertainment and law enforcement. However, generating
realistic photos and distinct sketches suffers from great challenges due to the
low quality of sketches and complex photo variations in the real scenes. To
this end, we propose a novel Semantic-Driven Generative Adversarial Network to
address the above issues, cooperating with the Graph Representation Learning.
Specifically, we inject class-wise semantic layouts into the generator to
provide style-based spatial supervision for synthesized face photos and
sketches. In addition, to improve the fidelity of the generated results, we
leverage the semantic layouts to construct two types of Representational Graphs
which indicate the intra-class semantic features and inter-class structural
features of the synthesized images. Furthermore, we design two types of
constraints based on the proposed Representational Graphs which facilitate the
preservation of the details in generated face photos and sketches. Moreover, to
further enhance the perceptual quality of synthesized images, we propose a
novel biphasic training strategy which is dedicated to refine the generated
results through Iterative Cycle Training. Extensive experiments are conducted
on CUFS and CUFSF datasets to demonstrate the prominent ability of our proposed
method which achieves the state-of-the-art performance.
- Abstract（参考訳）: 近年,GAN (Generative Adversarial Network) の開発により, 顔の2相合成において顕著な進歩を遂げている。
両顔写真スケッチ合成は、デジタルエンターテイメントや法執行機関といった幅広い分野に適用できる。
しかし、写実的な写真や異なるスケッチを作成することは、実際のシーンにおけるスケッチの質の低さと複雑な写真のバリエーションのために大きな困難に直面している。
そこで本研究では,上記の問題に対処するために,グラフ表現学習と協調して,新たな意味駆動生成型逆ネットワークを提案する。
具体的には,ジェネレータにクラスワイドなセマンティックレイアウトを注入し,合成顔写真やスケッチのためのスタイルベースの空間監視を行う。
さらに, 生成した結果の忠実性を向上させるために, 意味レイアウトを用いて, 合成画像のクラス内意味特徴とクラス間構造特徴を示す2種類の表現グラフを構築する。
さらに,提案した表現グラフに基づく2種類の制約を設計し,生成した顔写真やスケッチの詳細な保存を容易にする。
さらに, 合成画像の知覚的品質をさらに高めるため, 反復サイクルトレーニングによる生成結果の洗練を目的とした, 新たな二相学習戦略を提案する。
cufsとcufsfデータセットについて広範な実験を行い,最先端性能を実現するための提案手法の著明な性能を示す。
関連論文リスト
- Dual Advancement of Representation Learning and Clustering for Sparse and Noisy Images [14.836487514037994]
SNI(Sparse and Noisy Image)は、効果的な表現学習とクラスタリングに重要な課題を提起する。
本稿では、マスク画像モデリングから得られた表現を強化するために、DARLC(Dual Advancement of Representation Learning and Clustering)を提案する。
我々のフレームワークは、局所的な認識性、特異性、関係意味論の理解を高めることによって、表現の学習を改善する包括的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-09-03T10:52:27Z) - Masked Contrastive Graph Representation Learning for Age Estimation [44.96502862249276]
本稿では,画像冗長性情報を扱う上で,グラフ表現学習の特性を利用する。
年齢推定のためのMasked Contrastive Graph Representation Learning (MCGRL)法を提案する。
実世界の顔画像データセットに対する実験結果から,提案手法が他の最先端の年齢推定手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-06-16T15:53:21Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - General Facial Representation Learning in a Visual-Linguistic Manner [45.92447707178299]
本稿では,一般の顔表現学習を視覚言語的に行うためのフレームワークFaRLを紹介する。
従来の事前学習モデルと比較して, FaRL は転送性能がよいことを示す。
本モデルは,顔解析や顔のアライメントといった顔解析タスクにおける最先端の手法を超越したモデルである。
論文 参考訳（メタデータ） (2021-12-06T15:22:05Z) - Enhancing Social Relation Inference with Concise Interaction Graph and
Discriminative Scene Representation [56.25878966006678]
我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。
人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。
PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
論文 参考訳（メタデータ） (2021-07-30T04:20:13Z) - Face Sketch Synthesis via Semantic-Driven Generative Adversarial Network [10.226808267718523]
本稿では,グローバルな構造レベルのインジェクションと局所的なクラスレベルの知識再重み付けを組み込んだセマンティック・ドリブン・ジェネレータ・ネットワーク(SDGAN)を提案する。
具体的には、入力された顔写真に対して顔の塩分濃度検出を行い、全体的な顔のテクスチャ構造を提供する。
さらに,SDGANのジェネレータにグローバルな構造的スタイルの注入を強制する前に,顔解析のレイアウトを意味的空間として活用する。
論文 参考訳（メタデータ） (2021-06-29T07:03:56Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳（メタデータ） (2020-05-18T18:01:22Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z) - Hierarchy Composition GAN for High-fidelity Image Synthesis [57.32311953820988]
本稿では,革新的階層構成GAN(HIC-GAN)を提案する。
HIC-GANは、幾何学と外観領域における画像合成をエンドツーエンドのトレーニング可能なネットワークに組み込んでいる。
シーンテキスト画像合成, 肖像画編集, 室内レンダリングタスクの実験により, 提案したHIC-GANは, 質的, 定量的に優れた合成性能が得られることを示した。
論文 参考訳（メタデータ） (2019-05-12T11:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。