論文の概要: Unsupervised Facial Expression Representation Learning with Contrastive Local Warping

• arxiv url: http://arxiv.org/abs/2303.09034v1
• Date: Thu, 16 Mar 2023 02:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:14:03.922260
• Title: Unsupervised Facial Expression Representation Learning with Contrastive Local Warping
• Title（参考訳）: コントラスト型局所ワーピングを用いた教師なし表情表現学習
• Authors: Fanglei Xue, Yifan Sun, Yi Yang
• Abstract要約: 我々は, 顔表情解析において, 顔表情表現の非教師的表現表現(UFER)は, 探索に相応しいものであり, 重要な課題に対処する可能性があると考えている。 コントラスト局所ワープ(ContraWarping)を用いたUFER法を提案する。 1)グローバルトランスフォーメーションの正のペアは、一般的な自己教師型学習(例えばBYOL)によって活用され、すでにいくつかの情報的特徴を持ち、2)局所的なワーピングの負のペアは、表現関連の変化を明示的に導入する。
• 参考スコア（独自算出の注目度）: 28.14713651898837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates unsupervised representation learning for facial expression analysis. We think Unsupervised Facial Expression Representation (UFER) deserves exploration and has the potential to address some key challenges in facial expression analysis, such as scaling, annotation bias, the discrepancy between discrete labels and continuous emotions, and model pre-training. Such motivated, we propose a UFER method with contrastive local warping (ContraWarping), which leverages the insight that the emotional expression is robust to current global transformation (affine transformation, color jitter, etc.) but can be easily changed by random local warping. Therefore, given a facial image, ContraWarping employs some global transformations and local warping to generate its positive and negative samples and sets up a novel contrastive learning framework. Our in-depth investigation shows that: 1) the positive pairs from global transformations may be exploited with general self-supervised learning (e.g., BYOL) and already bring some informative features, and 2) the negative pairs from local warping explicitly introduce expression-related variation and further bring substantial improvement. Based on ContraWarping, we demonstrate the benefit of UFER under two facial expression analysis scenarios: facial expression recognition and image retrieval. For example, directly using ContraWarping features for linear probing achieves 79.14% accuracy on RAF-DB, significantly reducing the gap towards the full-supervised counterpart (88.92% / 84.81% with/without pre-training).
• Abstract（参考訳）: 本稿では,表情解析のための教師なし表現学習について検討する。 我々は、Unsupervised Facial Expression Representation (UFER) は探索に値すると考えており、スケーリング、アノテーションバイアス、離散ラベルと連続感情の相違、モデル事前学習といった、表情分析における重要な課題に対処する可能性があると考えている。 このようなモチベーションを生かしたコントラストローカルワープ(ContraWarping)を用いたUFER手法を提案し,感情表現が現在のグローバルトランスフォーメーション(ファイントランスフォーメーション,カラージッタなど)に頑健であるが,ランダムローカルワープによって容易に変更できるという知見を活用する。 したがって、顔画像が与えられると、contrawarpingはいくつかのグローバルトランスフォーメーションと局所ウォーピングを使用して、ポジティブなサンプルとネガティブなサンプルを生成し、新しいコントラスト学習フレームワークをセットアップする。 我々の詳細な調査によると、 1)グローバルトランスフォーメーションからの正のペアは、一般的な自己教師あり学習(例えばbyol)で活用することができ、既にいくつかの有益な特徴をもたらしている。 2)局所ウォーピングからの負のペアは表現関連変異を明示的に導入し,さらに大幅な改善をもたらす。 ContraWarpingに基づいて、表情認識と画像検索という2つの表情解析シナリオの下で、UFERの利点を実証する。 例えば、線形探索にContraWarping機能を直接使用すると、RAF-DBでは79.14%の精度が達成され、全監督対象(事前学習なしでは88.92% / 84.81%)へのギャップが大幅に減少する。

関連論文リスト

• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Contrastive Learning of View-Invariant Representations for Facial Expressions Recognition [27.75143621836449]
  コントラスト学習に基づく新しいビュー不変FERフレームワークであるViewFXを提案する。 提案手法を2つの公開多視点顔表情認識データセット上で検証する。
  論文  参考訳（メタデータ） (2023-11-12T14:05:09Z)
• Rethinking the Learning Paradigm for Facial Expression Recognition [56.050738381526116]
  既存のトレーニングパラダイムを再考し、弱い教師付き戦略を用いて、オリジナルの曖昧なアノテーションでFERモデルをトレーニングする方がよいと提案する。 本稿では、弱教師付き戦略を用いて、オリジナルの曖昧なアノテーションでFERモデルを訓練した方がよいと論じる。
  論文  参考訳（メタデータ） (2022-09-30T12:00:54Z)
• Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
  視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。 目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。 本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
  論文  参考訳（メタデータ） (2022-09-10T19:04:40Z)
• Affective Behaviour Analysis Using Pretrained Model with Facial Priori [22.885249372875727]
  そこで本稿では,未ラベル顔画像に事前トレーニングしたMasked Auto-Encoder (MAE) を用いた顔情報の利用を提案する。 また,MAE事前学習型視覚変換器(ViT)とAffectNet事前学習型CNNを組み合わせてマルチタスク感情認識を行う。
  論文  参考訳（メタデータ） (2022-07-24T07:28:08Z)
• Dual Contrastive Learning for General Face Forgery Detection [64.41970626226221]
  本稿では,正と負のペアデータを構成するDCL (Dual Contrastive Learning) という新しい顔偽造検出フレームワークを提案する。 本研究は, 事例内コントラスト学習(Intra-ICL)において, 偽造顔における局所的内容の不整合に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-27T05:44:40Z)
• Robust Facial Expression Recognition with Convolutional Visual Transformers [23.05378099875569]
  コンボリューションビジュアルトランスフォーマーは、主に2つのステップで野生の表情認識に取り組むために提案します。 まず,2分岐CNNが生成する特徴マップを活用するための注意選択融合(ASF)を提案する。 第二に,自然言語処理におけるトランスフォーマーの成功に触発されて,これらの視覚単語間の関係をグローバル自己着眼でモデル化することを提案する。
  論文  参考訳（メタデータ） (2021-03-31T07:07:56Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。