論文の概要: LEGAN: Disentangled Manipulation of Directional Lighting and Facial
Expressions by Leveraging Human Perceptual Judgements
- arxiv url: http://arxiv.org/abs/2010.01464v3
- Date: Fri, 18 Jun 2021 22:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 04:00:48.789922
- Title: LEGAN: Disentangled Manipulation of Directional Lighting and Facial
Expressions by Leveraging Human Perceptual Judgements
- Title(参考訳): LEGAN:人間の知覚判断の活用による方向照明と表情の遠方操作
- Authors: Sandipan Banerjee, Ajjen Joshi, Prashant Mahajan, Sneha Bhattacharya,
Survi Kyal and Taniya Mishra
- Abstract要約: 顔画像の光と表情を協調的に操作するための知覚的品質判断を利用する新しい合成フレームワーク LEGAN を提案する。
LEGANは、所望の出力画像にアップスケールする前に、照明と表現のサブスペースをアンタングルし、特徴空間で変換を行う。
また,LEGANおよび他のGANモデルにより合成された画像を用いて知覚的研究を行い,品質推定と視覚的忠実度との相関を示す。
- 参考スコア(独自算出の注目度): 7.5603864775031004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Building facial analysis systems that generalize to extreme variations in
lighting and facial expressions is a challenging problem that can potentially
be alleviated using natural-looking synthetic data. Towards that, we propose
LEGAN, a novel synthesis framework that leverages perceptual quality judgments
for jointly manipulating lighting and expressions in face images, without
requiring paired training data. LEGAN disentangles the lighting and expression
subspaces and performs transformations in the feature space before upscaling to
the desired output image. The fidelity of the synthetic image is further
refined by integrating a perceptual quality estimation model, trained with face
images rendered using multiple synthesis methods and their crowd-sourced
naturalness ratings, into the LEGAN framework as an auxiliary discriminator.
Using objective metrics like FID and LPIPS, LEGAN is shown to generate higher
quality face images when compared with popular GAN models like StarGAN and
StarGAN-v2 for lighting and expression synthesis. We also conduct a perceptual
study using images synthesized by LEGAN and other GAN models and show the
correlation between our quality estimation and visual fidelity. Finally, we
demonstrate the effectiveness of LEGAN as training data augmenter for
expression recognition and face verification tasks.
- Abstract(参考訳): 照明や表情の極端なバリエーションを一般化した顔分析システムの構築は、自然に見える合成データを使って緩和される可能性のある難しい問題である。
そこで本研究では,顔画像の照明と表情を共同で操作するために知覚的品質判断を活用し,ペアトレーニングデータを必要としない新しい合成フレームワークであるleganを提案する。
LEGANは、所望の出力画像にアップスケールする前に、照明および表現部分空間をアンタングルし、特徴空間で変換を行う。
合成画像の忠実度は、複数の合成法とクラウドソースの自然性評価を用いて描画された顔画像で訓練された知覚品質推定モデルを、補助判別器としてLEGANフレームワークに統合することによりさらに改善される。
FIDやLPIPSといった客観的メトリクスを使うことで、LEGANはStarGANやStarGAN-v2といった一般的なGANモデルと比較して、高品質な顔画像を生成する。
また,LEGANおよび他のGANモデルにより合成された画像を用いて知覚的研究を行い,品質推定と視覚的忠実度との相関を示す。
最後に,LEGANが表現認識および顔認証タスクのトレーニングデータ強化に有効であることを示す。
関連論文リスト
- SynFace: Face Recognition with Synthetic Data [83.15838126703719]
我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。
また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
論文 参考訳(メタデータ) (2021-08-18T03:41:54Z) - Simultaneous Face Hallucination and Translation for Thermal to Visible
Face Verification using Axial-GAN [74.22129648654783]
低分解能熱画像から熱可視面検証のタスクを紹介します。
本稿では,Axial-Generative Adversarial Network (Axial-GAN)を提案する。
論文 参考訳(メタデータ) (2021-04-13T22:34:28Z) - IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。
我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。
IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
論文 参考訳(メタデータ) (2021-04-13T02:00:24Z) - Towards End-to-End Neural Face Authentication in the Wild - Quantifying
and Compensating for Directional Lighting Effects [2.4493299476776778]
本研究では, 指向性照明がニューラルフェイス認識器に及ぼす影響について検討する。
トップ照明とそのバリエーションは、精度に最小限の効果を有することが判明し、ボトム左またはボトム右方向の照明が最も顕著な効果を有する。
論文 参考訳(メタデータ) (2021-04-08T15:58:09Z) - Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition [61.87842307164351]
まず,画像生成ネットワークの監視に新たな知覚損失を適用したIACycleGAN(Identity-Aware CycleGAN)モデルを提案する。
眼や鼻などの重要な顔領域の合成により多くの注意を払うことで、フォトエッチング合成におけるサイクガンを改善する。
IACycleGANによる画像の合成を反復的に行う合成モデルと認識モデルとの相互最適化手法を開発した。
論文 参考訳(メタデータ) (2021-03-30T01:30:08Z) - Pixel-based Facial Expression Synthesis [1.7056768055368383]
本稿では,各出力画素が1つの入力画素のみを観測する,画素ベースの表情合成手法を提案する。
提案するモデルは2桁の規模で,リソース制約のあるデバイスへの展開に適している。
論文 参考訳(メタデータ) (2020-10-27T16:00:45Z) - Exposing GAN-generated Faces Using Inconsistent Corneal Specular
Highlights [42.83346543247565]
GAN合成顔は両眼の角膜特異なハイライトで露出できることを示す。
この矛盾は、GANモデルにおける物理的・生理学的制約の欠如によって引き起こされる。
論文 参考訳(メタデータ) (2020-09-24T19:43:16Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳(メタデータ) (2020-05-18T18:01:22Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳(メタデータ) (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。