論文の概要: MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild

• arxiv url: http://arxiv.org/abs/2208.00847v1
• Date: Mon, 1 Aug 2022 13:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 14:06:47.787504
• Title: MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild
• Title（参考訳）: MAFW:野生における動的顔表情認識のための大規模複合感情データベース
• Authors: Yuanyuan Liu, Wei Dai, Chuanxu Feng, Wenbin Wang, Guanghao Yin, Jiabei Zeng and Shiguang Shan
• Abstract要約: 大規模複合感情データベースMAFWを提案する。 各クリップには、複雑な感情カテゴリーと、クリップ内の被験者の感情行動を記述する2つの文が注釈付けされている。 複合感情のアノテーションでは、それぞれのクリップは、怒り、嫌悪感、恐怖、幸福、中立、悲しみ、驚き、軽蔑、不安、無力感、失望など、広く使われている11の感情のうちの1つ以上に分類される。
• 参考スコア（独自算出の注目度）: 54.583741118481605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic facial expression recognition (FER) databases provide important data support for affective computing and applications. However, most FER databases are annotated with several basic mutually exclusive emotional categories and contain only one modality, e.g., videos. The monotonous labels and modality cannot accurately imitate human emotions and fulfill applications in the real world. In this paper, we propose MAFW, a large-scale multi-modal compound affective database with 10,045 video-audio clips in the wild. Each clip is annotated with a compound emotional category and a couple of sentences that describe the subjects' affective behaviors in the clip. For the compound emotion annotation, each clip is categorized into one or more of the 11 widely-used emotions, i.e., anger, disgust, fear, happiness, neutral, sadness, surprise, contempt, anxiety, helplessness, and disappointment. To ensure high quality of the labels, we filter out the unreliable annotations by an Expectation Maximization (EM) algorithm, and then obtain 11 single-label emotion categories and 32 multi-label emotion categories. To the best of our knowledge, MAFW is the first in-the-wild multi-modal database annotated with compound emotion annotations and emotion-related captions. Additionally, we also propose a novel Transformer-based expression snippet feature learning method to recognize the compound emotions leveraging the expression-change relations among different emotions and modalities. Extensive experiments on MAFW database show the advantages of the proposed method over other state-of-the-art methods for both uni- and multi-modal FER. Our MAFW database is publicly available from https://mafw-database.github.io/MAFW.
• Abstract（参考訳）: 動的表情認識(FER)データベースは、感情コンピューティングとアプリケーションにとって重要なデータサポートを提供する。 しかし、ほとんどのferデータベースは、相互に排他的な感情的なカテゴリで注釈を付けており、ビデオのような1つのモダリティしか含まない。 単調なラベルとモダリティは人間の感情を正確に模倣することができず、現実世界での応用を達成できない。 本稿では,10,045本のビデオオーディオクリップを収録した大規模マルチモーダル複合感情データベースmafwを提案する。 各クリップには、複雑な感情カテゴリーと、クリップ内の被験者の感情行動を記述する2つの文が注釈付けされている。 複合感情アノテーションでは、それぞれのクリップは、怒り、嫌悪感、恐怖、幸福、中立、悲しみ、驚き、軽蔑、不安、無力感、失望など、広く使われている11の感情のうちの1つ以上に分類される。 ラベルの品質を確保するために,期待最大化(em)アルゴリズムによって信頼できないアノテーションをフィルタリングし,11の単一ラベル感情カテゴリと32のマルチラベル感情カテゴリを得る。 われわれの知る限りでは、mafwは複合感情アノテーションと感情関連キャプションでアノテートされた最初のマルチモーダルデータベースだ。 また,異なる感情とモダリティの表現変化関係を利用した複合感情認識のための,トランスフォーマティブに基づく表現スニペット特徴学習手法を提案する。 mafwデータベースの広範囲な実験は、ユニモーダルferとマルチモーダルferの両方の最先端手法よりも、提案手法の利点を示している。 mafwデータベースはhttps://mafw-database.github.io/mafwから公開しています。

関連論文リスト

• AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels [2.644902054473556]
  画像に複数の感情をラベル付けするラベル付け手法により、FERデータセットを作成するための新しい手法を提案する。 提案手法の利点は, よりスムーズな決定境界の発見, マルチラベル化の実現, バイアスと不均衡データの緩和などにある。 AffectNetをベースとして,次世代の表情データセットであるAffectNet+を紹介する。
  論文  参考訳（メタデータ） (2024-10-29T19:57:10Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Learning Emotion Representations from Verbal and Nonverbal Communication [7.747924294389427]
  本稿では,言語・非言語コミュニケーションから視覚的感情表現を抽出する最初の事前学習パラダイムであるEmotionCLIPを提案する。 EmotionCLIPは、感情誘導型コントラスト学習を用いて、主観的文脈エンコーディングと言語感情キューを通じて、非言語感情キューへの参加を誘導する。 EmotionCLIPは、感情理解におけるデータ不足の一般的な問題に対処し、関連する領域の進歩を促進する。
  論文  参考訳（メタデータ） (2023-05-22T21:36:55Z)
• When Facial Expression Recognition Meets Few-Shot Learning: A Joint and Alternate Learning Framework [60.51225419301642]
  実践シナリオにおける人間の感情の多様性に対応するために,感情ガイド型類似ネットワーク(EGS-Net)を提案する。 EGS-Netは2段階の学習フレームワークに基づいた感情ブランチと類似性ブランチで構成されている。 In-the-labとin-the-wildの複合表現データセットの実験結果から,提案手法がいくつかの最先端手法に対して優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-18T07:24:12Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Recognizing Emotions evoked by Movies using Multitask Learning [3.4290619267487488]
  誘発感情を認識する方法は通常、人間の注釈付きデータに基づいて訓練される。 本稿では,Single-Task (ST) アーキテクチャとMulti-Task (MT) アーキテクチャの2つのディープラーニングアーキテクチャを提案する。 以上の結果から,MT手法は,アグリゲートアノテーションを直接訓練した手法と比較して,各ビューアとアグリゲートアノテーションをより正確にモデル化できることがわかった。
  論文  参考訳（メタデータ） (2021-07-30T10:21:40Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• RAF-AU Database: In-the-Wild Facial Expressions with Subjective Emotion Judgement and Objective AU Annotations [36.93475723886278]
  我々は,サインベース(AU)と判断ベース(知覚的感情)を用いたRAF-AUデータベースを開発し,野生における混合表情のアノテートを行う。 また,どのキーAUが知覚的感情に最も寄与するか,およびAUと表情の関係について予備調査を行った。
  論文  参考訳（メタデータ） (2020-08-12T09:29:16Z)
• HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition in the Wild [0.0]
  我々は、新しい自然状態ビデオデータベース(HEU Emotion)をリリースする。 HEU Emotionには合計19,004本のビデオクリップが含まれており、データソースによって2つの部分に分けられる。 両部位の認識精度はそれぞれ2.19%,4.01%上昇した。
  論文  参考訳（メタデータ） (2020-07-24T13:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。