論文の概要: Joint Deep Learning of Facial Expression Synthesis and Recognition
- arxiv url: http://arxiv.org/abs/2002.02194v1
- Date: Thu, 6 Feb 2020 10:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 12:47:27.237168
- Title: Joint Deep Learning of Facial Expression Synthesis and Recognition
- Title（参考訳）: 顔表情合成と認識の融合深層学習
- Authors: Yan Yan, Ying Huang, Si Chen, Chunhua Shen, Hanzi Wang
- Abstract要約: 顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
- 参考スコア（独自算出の注目度）: 97.19528464266824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, deep learning based facial expression recognition (FER) methods
have attracted considerable attention and they usually require large-scale
labelled training data. Nonetheless, the publicly available facial expression
databases typically contain a small amount of labelled data. In this paper, to
overcome the above issue, we propose a novel joint deep learning of facial
expression synthesis and recognition method for effective FER. More
specifically, the proposed method involves a two-stage learning procedure.
Firstly, a facial expression synthesis generative adversarial network (FESGAN)
is pre-trained to generate facial images with different facial expressions. To
increase the diversity of the training images, FESGAN is elaborately designed
to generate images with new identities from a prior distribution. Secondly, an
expression recognition network is jointly learned with the pre-trained FESGAN
in a unified framework. In particular, the classification loss computed from
the recognition network is used to simultaneously optimize the performance of
both the recognition network and the generator of FESGAN. Moreover, in order to
alleviate the problem of data bias between the real images and the synthetic
images, we propose an intra-class loss with a novel real data-guided
back-propagation (RDBP) algorithm to reduce the intra-class variations of
images from the same class, which can significantly improve the final
performance. Extensive experimental results on public facial expression
databases demonstrate the superiority of the proposed method compared with
several state-of-the-art FER methods.
- Abstract（参考訳）: 近年,deep learning based facial expression recognition (fer) 法が注目されている。
それでも、一般に公開されている表情データベースは、通常は少量のラベル付きデータを含んでいる。
本稿では,この課題を克服するために,表情合成の新たな深層学習と効果的なferのための認識法を提案する。
より具体的には、提案手法は2段階学習手順を含む。
まず、表情合成生成対向ネットワーク(FESGAN)を事前訓練し、表情の異なる顔画像を生成する。
トレーニング画像の多様性を高めるため、FESGANは以前の分布から新しいアイデンティティを持つ画像を生成するために精巧に設計されている。
次に、表現認識ネットワークと事前学習されたfesganとを統一した枠組みで学習する。
特に、認識ネットワークから計算された分類損失を使用して、認識ネットワークとFESGANの生成器の両方の性能を同時に最適化する。
さらに、実画像と合成画像間のデータバイアスの問題を軽減するため、新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いて、同クラスからの画像のクラス内変動を低減し、最終的な性能を大幅に向上させることができるクラス内損失を提案する。
公開表情データベースにおける広範囲な実験結果から,提案手法がいくつかの最先端fer法と比較して優れていることが示された。
関連論文リスト
- CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition [33.17771044475894]
顔画像と顔の同一性のある顔画像は、訓練された顔認識モデルの性能において極めて有効であることを示す。
そこで本研究では, 対象中心と様々なレベルの類似性を持つ顔サンプルを生成する, 拡散に基づく新しいアプローチ(すなわち, 中心をベースとした半硬顔生成)を提案する。
論文 参考訳（メタデータ） (2024-09-27T16:11:30Z) - Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。
ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。
4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
論文 参考訳（メタデータ） (2024-04-18T15:28:34Z) - Research on facial expression recognition based on Multimodal data
fusion and neural network [2.5431493111705943]
このアルゴリズムはマルチモーダルデータに基づいており、顔画像、画像の方向勾配のヒストグラム、顔のランドマークを入力とする。
実験結果から, マルチモーダルデータの相補性により, 精度, 堅牢性, 検出速度が大幅に向上したことがわかった。
論文 参考訳（メタデータ） (2021-09-26T23:45:40Z) - Self-supervised Contrastive Learning of Multi-view Facial Expressions [9.949781365631557]
顔表情認識(FER)は,人間とコンピュータのインタラクションシステムにおいて重要な構成要素である。
本稿では,多視点表情のコントラスト学習(CL-MEx)を提案する。
論文 参考訳（メタデータ） (2021-08-15T11:23:34Z) - Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition [61.87842307164351]
まず,画像生成ネットワークの監視に新たな知覚損失を適用したIACycleGAN(Identity-Aware CycleGAN)モデルを提案する。
眼や鼻などの重要な顔領域の合成により多くの注意を払うことで、フォトエッチング合成におけるサイクガンを改善する。
IACycleGANによる画像の合成を反復的に行う合成モデルと認識モデルとの相互最適化手法を開発した。
論文 参考訳（メタデータ） (2021-03-30T01:30:08Z) - Multi-Margin based Decorrelation Learning for Heterogeneous Face
Recognition [90.26023388850771]
本稿では,超球面空間におけるデコリレーション表現を抽出するディープニューラルネットワーク手法を提案する。
提案するフレームワークは,不均一表現ネットワークとデコリレーション表現学習の2つのコンポーネントに分けることができる。
2つの難解な異種顔データベースに対する実験結果から,本手法は検証タスクと認識タスクの両方において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-05-25T07:01:12Z) - Deep Face Super-Resolution with Iterative Collaboration between
Attentive Recovery and Landmark Estimation [92.86123832948809]
本稿では,2つの繰り返しネットワーク間の反復的協調による深層面超解像(FSR)手法を提案する。
各繰り返しステップにおいて、リカバリブランチは、ランドマークの事前の知識を利用して、高品質な画像を生成する。
新しい注意融合モジュールはランドマークマップのガイダンスを強化するために設計されている。
論文 参考訳（メタデータ） (2020-03-29T16:04:48Z) - Deep Multi-Facial Patches Aggregation Network For Facial Expression
Recognition [5.735035463793008]
深層多面的パッチアグリゲーションネットワークに基づく顔表情認識(FER)のアプローチを提案する。
ディープ機能は、ディープサブネットワークを使用して顔のパッチから学習され、表現分類のために1つのディープアーキテクチャに集約される。
論文 参考訳（メタデータ） (2020-02-20T17:57:06Z) - Exploiting Semantics for Face Image Deblurring [121.44928934662063]
本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。
顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。
提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
論文 参考訳（メタデータ） (2020-01-19T13:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。