論文の概要: Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation

• arxiv url: http://arxiv.org/abs/2409.08598v1
• Date: Fri, 13 Sep 2024 07:28:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 17:28:47.617610
• Title: Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation
• Title（参考訳）: 感情-ニュートラル変換を用いた知識強調顔表情認識
• Authors: Hangyu Li, Yihan Xu, Jiangchao Yao, Nannan Wang, Xinbo Gao, Bo Han,
• Abstract要約: 既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
• 参考スコア（独自算出の注目度）: 66.53435569574135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing facial expression recognition (FER) methods typically fine-tune a pre-trained visual encoder using discrete labels. However, this form of supervision limits to specify the emotional concept of different facial expressions. In this paper, we observe that the rich knowledge in text embeddings, generated by vision-language models, is a promising alternative for learning discriminative facial expression representations. Inspired by this, we propose a novel knowledge-enhanced FER method with an emotional-to-neutral transformation. Specifically, we formulate the FER problem as a process to match the similarity between a facial expression representation and text embeddings. Then, we transform the facial expression representation to a neutral representation by simulating the difference in text embeddings from textual facial expression to textual neutral. Finally, a self-contrast objective is introduced to pull the facial expression representation closer to the textual facial expression, while pushing it farther from the neutral representation. We conduct evaluation with diverse pre-trained visual encoders including ResNet-18 and Swin-T on four challenging facial expression datasets. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art FER methods. The code will be publicly available.
• Abstract（参考訳）: 既存の顔表情認識(FER)法は、通常、離散ラベルを用いて訓練済みの視覚エンコーダを微調整する。 しかし、この形態の監督は、異なる表情の感情的概念を特定することに制限される。 本稿では,視覚言語モデルが生成するテキスト埋め込みの豊富な知識が,識別的表情表現の学習に有望な代替手段であることを示す。 そこで本研究では,感情-中性変換を用いた知識強化FER法を提案する。 具体的には、表情表現とテキスト埋め込みの類似性を一致させるプロセスとしてFER問題を定式化する。 そして,テキスト表現からテキスト表現への埋め込みの違いをシミュレートすることにより,表情表現を中立表現に変換する。 最後に、自己コントラスト目標を導入し、中性表現から遠くまで押しながら、表情表現をテキストの表情に近づける。 本研究では,ResNet-18 や Swin-T など,訓練済みの多様なビジュアルエンコーダを用いて,顔表情データセットを4つ評価する。 大規模な実験により,本手法は最先端のFER法より有意に優れていることが示された。 コードは公開されます。

関連論文リスト

• How Do You Perceive My Face? Recognizing Facial Expressions in Multi-Modal Context by Modeling Mental Representations [5.895694050664867]
  本稿では,単純な分類タスクを超越した新しい表情分類手法を提案する。 本モデルでは,認識された顔を正確に分類し,文脈で顔を観察する際,人間によって知覚される対応する心的表現を合成する。 本研究では,人間の心的表現の近似を効果的に生成することを示す。
  論文  参考訳（メタデータ） (2024-09-04T09:32:40Z)
• Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
  人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。 現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。 顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
  論文  参考訳（メタデータ） (2024-07-25T18:29:48Z)
• Contrastive Learning of View-Invariant Representations for Facial Expressions Recognition [27.75143621836449]
  コントラスト学習に基づく新しいビュー不変FERフレームワークであるViewFXを提案する。 提案手法を2つの公開多視点顔表情認識データセット上で検証する。
  論文  参考訳（メタデータ） (2023-11-12T14:05:09Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• CLIPER: A Unified Vision-Language Framework for In-the-Wild Facial Expression Recognition [1.8604727699812171]
  本稿では,CLIPに基づく静的および動的表情認識のための統合フレームワークを提案する。 複数式テキスト記述子(METD)を導入し,CLIPERをより解釈しやすい表現の微粒化を学習する。
  論文  参考訳（メタデータ） (2023-03-01T02:59:55Z)
• Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
  我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。 PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。 PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
  論文  参考訳（メタデータ） (2022-07-22T13:39:06Z)
• LEED: Label-Free Expression Editing via Disentanglement [57.09545215087179]
  LEEDフレームワークは、表現ラベルを必要とせずに、前頭顔画像とプロファイル顔画像の両方の表現を編集することができる。 2つの新たな損失は、最適な表現の切り離しと一貫した合成のために設計されている。
  論文  参考訳（メタデータ） (2020-07-17T13:36:15Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。