論文の概要: Dynamic Facial Expression Recognition under Partial Occlusion with
Optical Flow Reconstruction
- arxiv url: http://arxiv.org/abs/2012.13217v1
- Date: Thu, 24 Dec 2020 12:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:14:31.398912
- Title: Dynamic Facial Expression Recognition under Partial Occlusion with
Optical Flow Reconstruction
- Title（参考訳）: オプティカルフロー再構成による部分咬合下の動的顔表情認識
- Authors: Delphine Poux, Benjamin Allaert, Nacim Ihaddadene, Ioan Marius
Bilasco, Chaabane Djeraba and Mohammed Bennamoun
- Abstract要約: 本研究では,光フロー領域における顔面の閉塞部分を再構成するためのスキップ接続を備えた自動エンコーダに基づく新しいソリューションを提案する。
提案手法は,オクルード状態と非オクルード状態の間における認識精度の差を著しく低減することを示す。
- 参考スコア（独自算出の注目度）: 20.28462460359439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video facial expression recognition is useful for many applications and
received much interest lately. Although some solutions give really good results
in a controlled environment (no occlusion), recognition in the presence of
partial facial occlusion remains a challenging task. To handle occlusions,
solutions based on the reconstruction of the occluded part of the face have
been proposed. These solutions are mainly based on the texture or the geometry
of the face. However, the similarity of the face movement between different
persons doing the same expression seems to be a real asset for the
reconstruction. In this paper we exploit this asset and propose a new solution
based on an auto-encoder with skip connections to reconstruct the occluded part
of the face in the optical flow domain. To the best of our knowledge, this is
the first proposition to directly reconstruct the movement for facial
expression recognition. We validated our approach in the controlled dataset CK+
on which different occlusions were generated. Our experiments show that the
proposed method reduce significantly the gap, in terms of recognition accuracy,
between occluded and non-occluded situations. We also compare our approach with
existing state-of-the-art solutions. In order to lay the basis of a
reproducible and fair comparison in the future, we also propose a new
experimental protocol that includes occlusion generation and reconstruction
evaluation.
- Abstract（参考訳）: ビデオ表情認識は多くのアプリケーションで有用であり、近年多くの関心を集めている。
制御された環境において(咬合なしで)本当に良い結果を与えるソリューションもあるが、部分的な顔面の咬合の存在に対する認識は依然として困難な課題である。
咬合に対処するため,顔の閉塞部分の再構成に基づく解法が提案されている。
これらの解は主に顔のテクスチャや幾何学に基づいている。
しかし、同じ表現をしている異なる人物の顔の動きの類似性は、再建の真の資産であると考えられる。
本稿では、この資産を利用して、光学フロー領域における顔の隠蔽部分を再構築するスキップ接続を有するオートエンコーダに基づく新しいソリューションを提案する。
私たちの知る限りでは、これは表情認識のための動きを直接再構築する最初の提案です。
我々は,異なるオクルージョンが生成される制御データセットCK+のアプローチを検証した。
提案手法は,オクルード状態と非オクルード状態の間における認識精度の差を著しく低減することを示す。
また、我々のアプローチを既存の最先端のソリューションと比較する。
今後,再現可能で公平な比較の基礎を築くために,咬合生成と再構成評価を含む新しい実験プロトコルを提案する。
関連論文リスト
- CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳（メタデータ） (2024-02-08T23:51:49Z) - Counterfactual Cross-modality Reasoning for Weakly Supervised Video
Moment Localization [67.88493779080882]
ビデオモーメントのローカライゼーションは、自然言語クエリに従って、未トリミングされたビデオのターゲットセグメントを取得することを目的としている。
最近の研究は、マスキングクエリの再構築によって引き起こされるモダリティの類似性とは対照的である。
提案手法は, 対実的相互モダリティ推論法である。
論文 参考訳（メタデータ） (2023-08-10T15:45:45Z) - Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for
Occluded Facial Expression Recognition [0.0]
提案手法は, 顔の隠蔽部分を, 隠蔽されていないかのように検出し, 認識し, FER精度を向上する。
まず、視覚変換器(ViT)ベースのオクルージョンパッチ検出器は、隠蔽されたパッチから潜在ベクトルのみを訓練することで、隠蔽された位置をマスクする。
第2に、ハイブリッド再構成ネットワークは、ViTと畳み込みニューラルネットワーク(CNN)を用いて、完全な画像としてマスキング位置を生成する。
最後に、式関連潜時ベクトル抽出器は、CNNに基づくクラスアクティベーションマップを適用して、すべての潜時ベクトルから式関連情報を検索し、使用する。
論文 参考訳（メタデータ） (2023-07-21T07:56:32Z) - Occlusion Fields: An Implicit Representation for Non-Line-of-Sight
Surface Reconstruction [3.0553868534759725]
非視線再構成(NLoS)は、直接見える拡散した壁から間接的に散乱する光の測定から視野外の物体を復元することを目的としている。
本研究では,NLoSシーンの再現性と復元性とを両立させる新しい表現と再構成手法を提案する。
論文 参考訳（メタデータ） (2022-03-16T14:47:45Z) - Locality-aware Channel-wise Dropout for Occluded Face Recognition [116.2355331029041]
顔認識は、特に顔が部分的に隠されている場合、制約のないシナリオでは難しいタスクである。
そこで本研究では,ニューロン群の活性化を,精巧に選択されたチャネルに落とすことによって,新しい,エレガントなオクルージョン・シミュレート法を提案する。
種々のベンチマーク実験により,提案手法は最先端の手法よりも優れた性能を示し,性能が向上した。
論文 参考訳（メタデータ） (2021-07-20T05:53:14Z) - Black-Box Face Recovery from Identity Features [61.950765357647605]
我々はアルゴリズムをテストするために最先端の顔認識システム(ArcFace)を攻撃した。
我々のアルゴリズムは、最先端のソリューションに比べて、はるかに少ないクエリを必要とする。
論文 参考訳（メタデータ） (2020-07-27T15:25:38Z) - On Improving the Generalization of Face Recognition in the Presence of
Occlusions [13.299431908881425]
Occlusion-aware face RecOgnition (OREO) アプローチは, 咬合の有無に関わらず, 識別的顔テンプレートを学習した。
OREOは、顔認識の一般化能力を1画像ベースで(10.17%)改善した。
論文 参考訳（メタデータ） (2020-06-11T20:17:23Z) - Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition [56.11054589916299]
本研究では,隠蔽領域から腐敗した特徴を発見・破棄するためのランドマーク誘導型アテンションブランチを提案する。
注意マップが最初に作成され、特定の顔部が閉鎖されているかどうかを示し、我々のモデルを非閉鎖領域に誘導する。
これにより、顔が部分的に隠されている場合でも、表情認識システムが回復することができる。
論文 参考訳（メタデータ） (2020-05-12T20:42:55Z) - Deep Face Super-Resolution with Iterative Collaboration between
Attentive Recovery and Landmark Estimation [92.86123832948809]
本稿では,2つの繰り返しネットワーク間の反復的協調による深層面超解像(FSR)手法を提案する。
各繰り返しステップにおいて、リカバリブランチは、ランドマークの事前の知識を利用して、高品質な画像を生成する。
新しい注意融合モジュールはランドマークマップのガイダンスを強化するために設計されている。
論文 参考訳（メタデータ） (2020-03-29T16:04:48Z) - SD-GAN: Structural and Denoising GAN reveals facial parts under
occlusion [7.284661356980246]
咬合状態にある顔の欠損部分を再構成する生成モデルを提案する。
GAN(Generative Adversarial Network)モデルとして,2モーダルな相互排他的学習アルゴリズムを考案した。
提案手法は,顔認識の性能向上においても,競合する手法よりもかなり優れている。
論文 参考訳（メタデータ） (2020-02-19T21:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。