論文の概要: Research on facial expression recognition based on Multimodal data
fusion and neural network
- arxiv url: http://arxiv.org/abs/2109.12724v1
- Date: Sun, 26 Sep 2021 23:45:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 07:53:58.326429
- Title: Research on facial expression recognition based on Multimodal data
fusion and neural network
- Title（参考訳）: マルチモーダルデータ融合とニューラルネットワークを用いた表情認識に関する研究
- Authors: Yi Han, Xubin Wang, Zhengyu Lu
- Abstract要約: このアルゴリズムはマルチモーダルデータに基づいており、顔画像、画像の方向勾配のヒストグラム、顔のランドマークを入力とする。
実験結果から, マルチモーダルデータの相補性により, 精度, 堅牢性, 検出速度が大幅に向上したことがわかった。
- 参考スコア（独自算出の注目度）: 2.5431493111705943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Facial expression recognition is a challenging task when neural network is
applied to pattern recognition. Most of the current recognition research is
based on single source facial data, which generally has the disadvantages of
low accuracy and low robustness. In this paper, a neural network algorithm of
facial expression recognition based on multimodal data fusion is proposed. The
algorithm is based on the multimodal data, and it takes the facial image, the
histogram of oriented gradient of the image and the facial landmarks as the
input, and establishes CNN, LNN and HNN three sub neural networks to extract
data features, using multimodal data feature fusion mechanism to improve the
accuracy of facial expression recognition. Experimental results show that,
benefiting by the complementarity of multimodal data, the algorithm has a great
improvement in accuracy, robustness and detection speed compared with the
traditional facial expression recognition algorithm. Especially in the case of
partial occlusion, illumination and head posture transformation, the algorithm
also shows a high confidence.
- Abstract（参考訳）: 顔認識は、ニューラルネットワークがパターン認識に適用される場合、難しい課題である。
現在の認識研究のほとんどは、単一の音源の顔データに基づいており、一般的には、低い精度と低い堅牢性の欠点がある。
本稿では,マルチモーダルデータ融合に基づく表情認識のためのニューラルネットワークアルゴリズムを提案する。
このアルゴリズムはマルチモーダルデータに基づいており、入力として顔画像、画像の向き付け勾配のヒストグラム、顔ランドマークのヒストグラムを取り、cnn、lnn、hnnの3つのサブニューラルネットワークを確立してデータ特徴を抽出し、マルチモーダルデータ特徴融合機構を用いて表情認識の精度を向上させる。
実験結果から,マルチモーダルデータの相補性により,従来の表情認識アルゴリズムと比較して精度,頑健性,検出速度が大幅に向上したことがわかった。
特に部分的咬合・照明・頭部姿勢変換の場合、アルゴリズムは高い信頼度を示す。
関連論文リスト
- Exploring a Multimodal Fusion-based Deep Learning Network for Detecting Facial Palsy [3.2381492754749632]
本稿では,非構造化データと構造化データを用いて顔の麻痺を検知する多モード融合に基づくディープラーニングモデルを提案する。
我々のモデルはリコールスコアの減少を犠牲にして精度を77.05にわずかに改善した。
論文 参考訳（メタデータ） (2024-05-26T09:16:34Z) - Research on Image Recognition Technology Based on Multimodal Deep Learning [24.259653149898167]
本稿では,ディープニューラルネットワークを用いた人間のマルチモーダル行動識別アルゴリズムについて検討する。
MSR3Dデータセットを用いて提案アルゴリズムの性能評価を行った。
論文 参考訳（メタデータ） (2024-05-06T01:05:21Z) - Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。
ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。
4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
論文 参考訳（メタデータ） (2024-04-18T15:28:34Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:19:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Progressive Spatio-Temporal Bilinear Network with Monte Carlo Dropout
for Landmark-based Facial Expression Recognition with Uncertainty Estimation [93.73198973454944]
提案手法の性能は, 広く使用されている3つのデータセットで評価される。
ビデオベースの最先端の手法に匹敵するが、複雑さははるかに少ない。
論文 参考訳（メタデータ） (2021-06-08T13:40:30Z) - Facial expression and attributes recognition based on multi-task
learning of lightweight neural networks [9.162936410696409]
顔の識別と顔の属性の分類のための軽量畳み込みニューラルネットワークのマルチタスクトレーニングを検討する。
顔の表情を予測するためには,これらのネットワークを微調整する必要がある。
MobileNet、EfficientNet、RexNetアーキテクチャに基づくいくつかのモデルが提示される。
論文 参考訳（メタデータ） (2021-03-31T14:21:04Z) - Generalized Iris Presentation Attack Detection Algorithm under
Cross-Database Settings [63.90855798947425]
プレゼンテーションアタックは、バイオメトリックなモダリティの大部分に大きな課題をもたらす。
本稿では,汎用的な深層学習に基づくプレゼンテーション攻撃検出ネットワークであるMVANetを提案する。
これはハイブリッドアルゴリズムの単純さと成功、あるいは複数の検出ネットワークの融合にインスパイアされている。
論文 参考訳（メタデータ） (2020-10-25T22:42:27Z) - Micro-Facial Expression Recognition Based on Deep-Rooted Learning
Algorithm [0.0]
本稿では,MFEDRL(Micro-Facial Expression Based Deep-Rooted Learning)分類器を提案する。
アルゴリズムの性能は認識率と偽測度を用いて評価する。
論文 参考訳（メタデータ） (2020-09-12T12:23:27Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。