論文の概要: Contrastive Learning of View-Invariant Representations for Facial Expressions Recognition

• arxiv url: http://arxiv.org/abs/2311.06852v1
• Date: Sun, 12 Nov 2023 14:05:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 16:27:33.607916
• Title: Contrastive Learning of View-Invariant Representations for Facial Expressions Recognition
• Title（参考訳）: 表情認識のためのビュー不変表現のコントラスト学習
• Authors: Shuvendu Roy, Ali Etemad
• Abstract要約: コントラスト学習に基づく新しいビュー不変FERフレームワークであるViewFXを提案する。 提案手法を2つの公開多視点顔表情認識データセット上で検証する。
• 参考スコア（独自算出の注目度）: 27.75143621836449
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Although there has been much progress in the area of facial expression recognition (FER), most existing methods suffer when presented with images that have been captured from viewing angles that are non-frontal and substantially different from those used in the training process. In this paper, we propose ViewFX, a novel view-invariant FER framework based on contrastive learning, capable of accurately classifying facial expressions regardless of the input viewing angles during inference. ViewFX learns view-invariant features of expression using a proposed self-supervised contrastive loss which brings together different views of the same subject with a particular expression in the embedding space. We also introduce a supervised contrastive loss to push the learnt view-invariant features of each expression away from other expressions. Since facial expressions are often distinguished with very subtle differences in the learned feature space, we incorporate the Barlow twins loss to reduce the redundancy and correlations of the representations in the learned representations. The proposed method is a substantial extension of our previously proposed CL-MEx, which only had a self-supervised loss. We test the proposed framework on two public multi-view facial expression recognition datasets, KDEF and DDCF. The experiments demonstrate that our approach outperforms previous works in the area and sets a new state-of-the-art for both datasets while showing considerably less sensitivity to challenging angles and the number of output labels used for training. We also perform detailed sensitivity and ablation experiments to evaluate the impact of different components of our model as well as its sensitivity to different parameters.
• Abstract（参考訳）: 顔表情認識(FER)の分野では、多くの進歩があったが、既存の方法の多くは、前向きではなく、トレーニングプロセスで使用されるものとはかなり異なる視角から捉えられた画像で表現される。 本稿では,コントラスト学習に基づく新しいビュー不変FERフレームワークであるViewFXを提案する。 viewfxは、自己教師付きコントラスト損失を用いて表現のビュー不変な特徴を学習し、同じ対象の異なるビューと埋め込み空間内の特定の表現を結合する。 また,各表現の学習観不変特徴を他の表現から遠ざけるために,教師付きコントラスト損失を導入する。 顔の表情はしばしば、学習した特徴空間の非常に微妙な違いで区別されるため、学習した表現の冗長性と相関性を低減するために、Barlow twins lossを組み込む。 提案手法は従来提案されていたCL-MExの大幅な拡張であり,自己監督的損失しかなかった。 提案フレームワークを,kdefとddcfの2つの公開マルチビュー表情認識データセット上でテストした。 実験の結果,本手法は従来の手法よりも優れており,両データセットの新たな最先端性を設定しつつ,難解な角度に対する感度とトレーニングに使用する出力ラベルの数を大幅に低減していることがわかった。 また, モデルにおける各種成分の影響や, 異なるパラメータに対する感度を評価するため, 詳細な感度およびアブレーション実験を行った。

関連論文リスト

• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• Disentangling Identity and Pose for Facial Expression Recognition [54.50747989860957]
  より識別的な特徴表現を学習するために,識別モデルを提案し,不整形表情認識(IPD-FER)モデルを提案する。 アイデンティティエンコーダでは、訓練中に訓練済みの顔認識モデルを利用して固定し、特定の表情訓練データに対する制限を軽減する。 合成された中性画像と同一個体の表情画像との差を比較することにより、表現成分はアイデンティティやポーズからさらに切り離される。
  論文  参考訳（メタデータ） (2022-08-17T06:48:13Z)
• CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition [80.07590100872548]
  本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。 CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
  論文  参考訳（メタデータ） (2022-08-10T15:46:05Z)
• Visual Perturbation-aware Collaborative Learning for Overcoming the Language Prior Problem [60.0878532426877]
  本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。 具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。 2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
  論文  参考訳（メタデータ） (2022-07-24T23:50:52Z)
• Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
  本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。 本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-27T05:44:40Z)
• Self-supervised Contrastive Learning of Multi-view Facial Expressions [9.949781365631557]
  顔表情認識(FER)は,人間とコンピュータのインタラクションシステムにおいて重要な構成要素である。 本稿では,多視点表情のコントラスト学習(CL-MEx)を提案する。
  論文  参考訳（メタデータ） (2021-08-15T11:23:34Z)
• Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition [31.40575057347465]
  本稿では,視覚における表情認識のためのマルチタスク学習フレームワークを提案する。 MTL設定において、離散認識と連続認識の両方のために共有特徴表現が学習される。 実験の結果,本手法は離散FER上での最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-06-07T10:20:05Z)
• Learning Disentangled Expression Representations from Facial Images [2.2509387878255818]
  対向損失の定式化を用いて,顔画像の非交叉表現を学習する。 使用済みモデルは、単一タスクデータセットの学習を容易にし、60.53%の精度で表現認識の最先端性を改善する。
  論文  参考訳（メタデータ） (2020-08-16T21:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。