論文の概要: Self-supervised Contrastive Learning of Multi-view Facial Expressions
- arxiv url: http://arxiv.org/abs/2108.06723v1
- Date: Sun, 15 Aug 2021 11:23:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 03:02:43.194350
- Title: Self-supervised Contrastive Learning of Multi-view Facial Expressions
- Title（参考訳）: 多視点表情の自己教師型コントラスト学習
- Authors: Shuvendu Roy, Ali Etemad
- Abstract要約: 顔表情認識(FER)は,人間とコンピュータのインタラクションシステムにおいて重要な構成要素である。
本稿では,多視点表情のコントラスト学習(CL-MEx)を提案する。
- 参考スコア（独自算出の注目度）: 9.949781365631557
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Facial expression recognition (FER) has emerged as an important component of
human-computer interaction systems. Despite recent advancements in FER,
performance often drops significantly for non-frontal facial images. We propose
Contrastive Learning of Multi-view facial Expressions (CL-MEx) to exploit
facial images captured simultaneously from different angles towards FER. CL-MEx
is a two-step training framework. In the first step, an encoder network is
pre-trained with the proposed self-supervised contrastive loss, where it learns
to generate view-invariant embeddings for different views of a subject. The
model is then fine-tuned with labeled data in a supervised setting. We
demonstrate the performance of the proposed method on two multi-view FER
datasets, KDEF and DDCF, where state-of-the-art performances are achieved.
Further experiments show the robustness of our method in dealing with
challenging angles and reduced amounts of labeled data.
- Abstract（参考訳）: 顔表情認識(FER)は,人間とコンピュータのインタラクションシステムにおいて重要な構成要素である。
近年のFERの進歩にもかかわらず、顔以外の画像では性能が著しく低下することが多い。
異なる角度から FER に対して同時に取得した顔画像を利用するために, CL-MEx (Contrastive Learning of Multi-view Face Expression) を提案する。
CL-MExは2段階のトレーニングフレームワークである。
最初のステップでは、エンコーダネットワークが提案された自己監督型コントラスト損失によって事前訓練され、被験者の異なる視点に対するビュー不変の埋め込みを生成する。
モデルは教師付き設定でラベル付きデータで微調整される。
提案手法は, kdef と ddcf という2つの多視点 fer データセットにおいて, 最先端のパフォーマンスを実現するための性能を示す。
さらに,提案手法の難解な角度とラベル付きデータの量削減におけるロバスト性を示す実験を行った。
関連論文リスト
- Bridging the Gaps: Utilizing Unlabeled Face Recognition Datasets to Boost Semi-Supervised Facial Expression Recognition [5.750927184237346]
我々は、半教師付きFERを高めるために、大きな未ラベルの顔認識(FR)データセットを活用することに重点を置いている。
具体的には,アノテーションを使わずに大規模な顔画像の事前訓練を行う。
ラベル付き画像や多彩な画像の不足を緩和するために、Mixupベースのデータ拡張戦略を提案する。
論文 参考訳（メタデータ） (2024-10-23T07:26:19Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval [85.73149096516543]
微細スケッチベース画像検索(FG-SBIR)におけるスケッチ作成時の視点選択について検討する。
パイロットスタディでは、クエリスケッチがターゲットインスタンスと異なる場合、システムの苦労を強調している。
これを解決するために、ビューに依存しないタスクとビュー固有のタスクの両方をシームレスに収容するビューアウェアシステムを提案する。
論文 参考訳（メタデータ） (2024-07-01T21:20:44Z) - Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition [1.4374467687356276]
本稿では,MAE-Face self-supervised learning (SSL) 法と多視点融合注意機構を組み合わせた表現分類手法を提案する。
我々は、重要な顔の特徴を強調表示して、そのような機能がモデルのガイドとして機能するかどうかを判断することを目的とした、実装が容易でトレーニングなしのフレームワークを提案する。
Aff-wild2データセットにおけるモデル性能の改善により,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2024-03-19T16:21:47Z) - Contrastive Learning of View-Invariant Representations for Facial
Expressions Recognition [27.75143621836449]
コントラスト学習に基づく新しいビュー不変FERフレームワークであるViewFXを提案する。
提案手法を2つの公開多視点顔表情認識データセット上で検証する。
論文 参考訳（メタデータ） (2023-11-12T14:05:09Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Exploiting Emotional Dependencies with Graph Convolutional Networks for
Facial Expression Recognition [31.40575057347465]
本稿では,視覚における表情認識のためのマルチタスク学習フレームワークを提案する。
MTL設定において、離散認識と連続認識の両方のために共有特徴表現が学習される。
実験の結果,本手法は離散FER上での最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2021-06-07T10:20:05Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z) - Learning to Augment Expressions for Few-shot Fine-grained Facial
Expression Recognition [98.83578105374535]
顔表情データベースF2EDについて述べる。
顔の表情は119人から54人まで、200万枚以上の画像が含まれている。
実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。
顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
論文 参考訳（メタデータ） (2020-01-17T03:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。