論文の概要: Norface: Improving Facial Expression Analysis by Identity Normalization
- arxiv url: http://arxiv.org/abs/2407.15617v1
- Date: Mon, 22 Jul 2024 13:24:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 15:01:15.037129
- Title: Norface: Improving Facial Expression Analysis by Identity Normalization
- Title（参考訳）: 表題:身元正規化による顔表情分析の改善
- Authors: Hanwei Liu, Rudong An, Zhimeng Zhang, Bowen Ma, Wei Zhang, Yan Song, Yujing Hu, Wei Chen, Yu Ding,
- Abstract要約: Norfaceは、AU(Action Unit)分析とFER(Facial Emotion Recognition)タスクの両方のための新しいフレームワークである。
正規化ネットワークと分類ネットワークで構成されている。
提案手法は,複数の表情解析タスクにおいて既存のSOTA法より優れる。
- 参考スコア（独自算出の注目度）: 23.777830960311537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Facial Expression Analysis remains a challenging task due to unexpected task-irrelevant noise, such as identity, head pose, and background. To address this issue, this paper proposes a novel framework, called Norface, that is unified for both Action Unit (AU) analysis and Facial Emotion Recognition (FER) tasks. Norface consists of a normalization network and a classification network. First, the carefully designed normalization network struggles to directly remove the above task-irrelevant noise, by maintaining facial expression consistency but normalizing all original images to a common identity with consistent pose, and background. Then, these additional normalized images are fed into the classification network. Due to consistent identity and other factors (e.g. head pose, background, etc.), the normalized images enable the classification network to extract useful expression information more effectively. Additionally, the classification network incorporates a Mixture of Experts to refine the latent representation, including handling the input of facial representations and the output of multiple (AU or emotion) labels. Extensive experiments validate the carefully designed framework with the insight of identity normalization. The proposed method outperforms existing SOTA methods in multiple facial expression analysis tasks, including AU detection, AU intensity estimation, and FER tasks, as well as their cross-dataset tasks. For the normalized datasets and code please visit {https://norface-fea.github.io/}.
- Abstract（参考訳）: 顔の表情分析は、アイデンティティ、ヘッドポーズ、バックグラウンドなどの予期せぬタスク関連ノイズのため、依然として困難な課題である。
そこで本研究では,行動単位分析(AU)と表情認識(FER)の両方に統一された,Norfaceと呼ばれる新しいフレームワークを提案する。
Norfaceは正規化ネットワークと分類ネットワークで構成されている。
第一に、念入りに設計された正規化ネットワークは、表情の一貫性を維持しながら、すべてのオリジナル画像を一貫したポーズと背景を持つ共通のアイデンティティに正規化することで、上記のタスク非関連ノイズを直接除去するのに苦労する。
そして、これら追加の正規化画像を分類ネットワークに入力する。
一貫したアイデンティティと他の要因(例えば、頭部ポーズ、背景など)により、正規化された画像により、分類ネットワークは有用な表現情報をより効果的に抽出することができる。
さらに、分類ネットワークは、顔表現の入力と複数の(AUまたは感情)ラベルの出力を扱うことを含む、潜伏表現を洗練させるために、Mixture of Expertsを組み込んでいる。
広範囲にわたる実験は、アイデンティティの正規化の洞察を得て、慎重に設計されたフレームワークを検証する。
提案手法は,AU検出,AU強度推定,FERタスクを含む複数の表情解析タスクにおいて,既存のSOTA手法よりも優れている。
正規化されたデータセットとコードは、{https://norface-fea.github.io/} を参照してください。
関連論文リスト
- Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method [77.65459419417533]
我々は,顔フォージェリを意味的文脈に配置し,意味的顔属性を変更する計算手法が顔フォージェリの源であることを定義した。
階層的なグラフで整理されたラベルの集合に各画像が関連付けられている大規模な顔偽画像データセットを構築した。
本稿では,ラベル関係を捕捉し,その優先課題を優先するセマンティクス指向の顔偽造検出手法を提案する。
論文 参考訳（メタデータ） (2024-05-14T10:24:19Z) - Personalized Face Inpainting with Diffusion Models by Parallel Visual
Attention [55.33017432880408]
本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。
我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。
実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
論文 参考訳（メタデータ） (2023-12-06T15:39:03Z) - SwinFace: A Multi-task Transformer for Face Recognition, Expression
Recognition, Age Estimation and Attribute Estimation [60.94239810407917]
本論文では,単一スウィントランスを用いた顔認識,表情認識,年齢推定,顔属性推定のための多目的アルゴリズムを提案する。
複数のタスク間の競合に対処するため、マルチレベルチャネル注意(MLCA)モジュールをタスク固有の分析に統合する。
実験の結果,提案したモデルでは顔の理解が良く,全てのタスクにおいて優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2023-08-22T15:38:39Z) - Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for
Occluded Facial Expression Recognition [0.0]
提案手法は, 顔の隠蔽部分を, 隠蔽されていないかのように検出し, 認識し, FER精度を向上する。
まず、視覚変換器(ViT)ベースのオクルージョンパッチ検出器は、隠蔽されたパッチから潜在ベクトルのみを訓練することで、隠蔽された位置をマスクする。
第2に、ハイブリッド再構成ネットワークは、ViTと畳み込みニューラルネットワーク(CNN)を用いて、完全な画像としてマスキング位置を生成する。
最後に、式関連潜時ベクトル抽出器は、CNNに基づくクラスアクティベーションマップを適用して、すべての潜時ベクトルから式関連情報を検索し、使用する。
論文 参考訳（メタデータ） (2023-07-21T07:56:32Z) - Source Identification: A Self-Supervision Task for Dense Prediction [8.744460886823322]
我々は、ソース識別(SI)と呼ばれる新しいセルフスーパービジョンタスクを提案する。
合成画像は、複数のソースイメージを融合させて生成され、融合された画像を考えると、ネットワークのタスクは元のイメージを再構築することである。
脳腫瘍分節と白質高強度分節という2つの医療画像分節課題に対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-07-05T12:27:58Z) - Attribute-preserving Face Dataset Anonymization via Latent Code
Optimization [64.4569739006591]
本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。
我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
論文 参考訳（メタデータ） (2023-03-20T17:34:05Z) - SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial
Expression Recognition in the Wild [3.4798852684389963]
顔のランドマークの効果的な符号化を学習できる自己教師型簡易顔ランドマーク符号化法(SimFLE)を提案する。
この目的のために、新しいFaceMAEモジュールを紹介します。
いくつかのFER-Wベンチマークの実験結果から、提案したSimFLEは顔のランドマークのローカライゼーションに優れていることが証明された。
論文 参考訳（メタデータ） (2023-03-14T06:30:55Z) - Open-Set Face Identification on Few-Shot Gallery by Fine-Tuning [16.818401142963268]
我々は、細調整により、数枚のギャラリーで、オープンセットの顔認証問題に対処することに注力する。
重みインプリントと排他的BatchNorm層チューニングを併用した効果的な微調整手法を提案する。
未知のアイデンティティの精度をさらに向上させるため,我々はNeighborhood Aware Cosineと呼ばれる新しいマッチング手法を提案する。
論文 参考訳（メタデータ） (2023-01-05T06:02:16Z) - Disentangling Identity and Pose for Facial Expression Recognition [54.50747989860957]
より識別的な特徴表現を学習するために,識別モデルを提案し,不整形表情認識(IPD-FER)モデルを提案する。
アイデンティティエンコーダでは、訓練中に訓練済みの顔認識モデルを利用して固定し、特定の表情訓練データに対する制限を軽減する。
合成された中性画像と同一個体の表情画像との差を比較することにより、表現成分はアイデンティティやポーズからさらに切り離される。
論文 参考訳（メタデータ） (2022-08-17T06:48:13Z) - MorphGAN: One-Shot Face Synthesis GAN for Detecting Recognition Bias [13.162012586770576]
本論文では, 頭部ポーズと表情調節を, 既視者の画像に適用するシミュレータについて述べる。
顔の小さなデータセットを新しいポーズと表現で拡張することで、増強やデータの不足に応じて、認識性能を最大9%向上することを示す。
論文 参考訳（メタデータ） (2020-12-09T18:43:03Z) - Suppressing Uncertainties for Large-Scale Facial Expression Recognition [81.51495681011404]
本稿では,不確実性を効果的に抑制し,深層ネットワークが不確実な顔画像に過度に収まらないような,シンプルで効率的なセルフキュアネットワーク(SCN)を提案する。
公開ベンチマークの結果、我々のSCNは現在の最先端メソッドよりも、RAF-DBで textbf88.14%、AffectNetで textbf60.23%、FERPlusで textbf89.35% を上回りました。
論文 参考訳（メタデータ） (2020-02-24T17:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。