論文の概要: HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition
in the Wild
- arxiv url: http://arxiv.org/abs/2007.12519v1
- Date: Fri, 24 Jul 2020 13:36:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 06:13:54.733596
- Title: HEU Emotion: A Large-scale Database for Multi-modal Emotion Recognition
in the Wild
- Title(参考訳): HEU Emotion: 野生におけるマルチモーダル感情認識のための大規模データベース
- Authors: Jing Chen (1), Chenhui Wang (2), Kejun Wang (1), Chaoqun Yin (1), Cong
Zhao (1), Tao Xu (1), Xinyi Zhang (1), Ziqiang Huang (1), Meichen Liu (1),
Tao Yang (1) ((1) College of Intelligent Systems Science and Engineering,
Harbin Engineering University, Harbin, China., (2) UCLA Department of
Statistics, Los Angeles, CA.)
- Abstract要約: 我々は、新しい自然状態ビデオデータベース(HEU Emotion)をリリースする。
HEU Emotionには合計19,004本のビデオクリップが含まれており、データソースによって2つの部分に分けられる。
両部位の認識精度はそれぞれ2.19%,4.01%上昇した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The study of affective computing in the wild setting is underpinned by
databases. Existing multimodal emotion databases in the real-world conditions
are few and small, with a limited number of subjects and expressed in a single
language. To meet this requirement, we collected, annotated, and prepared to
release a new natural state video database (called HEU Emotion). HEU Emotion
contains a total of 19,004 video clips, which is divided into two parts
according to the data source. The first part contains videos downloaded from
Tumblr, Google, and Giphy, including 10 emotions and two modalities (facial
expression and body posture). The second part includes corpus taken manually
from movies, TV series, and variety shows, consisting of 10 emotions and three
modalities (facial expression, body posture, and emotional speech). HEU Emotion
is by far the most extensive multi-modal emotional database with 9,951
subjects. In order to provide a benchmark for emotion recognition, we used many
conventional machine learning and deep learning methods to evaluate HEU
Emotion. We proposed a Multi-modal Attention module to fuse multi-modal
features adaptively. After multi-modal fusion, the recognition accuracies for
the two parts increased by 2.19% and 4.01% respectively over those of
single-modal facial expression recognition.
- Abstract(参考訳): 野生環境における情緒コンピューティングの研究はデータベースが基盤となっている。
実世界の環境における既存のマルチモーダル感情データベースは少ないが、主題は限られており、単一の言語で表現される。
この要件を満たすため、我々は、新しい自然状態ビデオデータベース(HEU Emotion)をリリースする準備をし、注釈を付けました。
HEU Emotionには19,004本のビデオクリップが含まれており、データソースによって2つの部分に分けられる。
最初の部分はTumblr、Google、Giphyからダウンロードされたビデオで、10の感情と2つのモダリティ(表情と身体姿勢)が含まれている。
第2部は、映画、テレビシリーズ、バラエティ番組から手作業で取ったコーパスを含み、10の感情と3つのモダリティ(表情、身体姿勢、感情スピーチ)から構成される。
HEU Emotionは、9,951人の被験者からなる最も広範なマルチモーダル感情データベースである。
感情認識のベンチマークを提供するために,HEU感情を評価するために,従来の機械学習やディープラーニング手法を用いた。
マルチモーダル特徴を適応的に融合するマルチモーダルアテンションモジュールを提案する。
マルチモーダル融合後,両部位の認識精度はそれぞれ2.19%,4.01%上昇した。
関連論文リスト
- MAFW: A Large-scale, Multi-modal, Compound Affective Database for
Dynamic Facial Expression Recognition in the Wild [56.61912265155151]
大規模複合感情データベースMAFWを提案する。
各クリップには、複雑な感情カテゴリーと、クリップ内の被験者の感情行動を記述する2つの文が注釈付けされている。
複合感情のアノテーションでは、それぞれのクリップは、怒り、嫌悪感、恐怖、幸福、中立、悲しみ、驚き、軽蔑、不安、無力感、失望など、広く使われている11の感情のうちの1つ以上に分類される。
論文 参考訳(メタデータ) (2022-08-01T13:34:33Z) - M3ED: Multi-modal Multi-scene Multi-label Emotional Dialogue Database [139.08528216461502]
マルチモーダルマルチシーンマルチラベル感情対話データセットM3EDを提案する。
M3EDには56の異なるテレビシリーズの990のダイアドの感情対話があり、合計9,082回、24,449発の発声がある。
我々の知る限りでは、M3EDは中国語における最初のマルチモーダル感情対話データセットである。
論文 参考訳(メタデータ) (2022-05-09T06:52:51Z) - Multimodal Emotion-Cause Pair Extraction in Conversations [23.95461291718006]
会話におけるマルチモーダル感情因果ペア抽出というタスクを導入する。
我々は、テキスト、音声、ビデオに反映された会話から、感情とその関連要因を共同で抽出することを目指している。
予備実験の結果は、会話における感情と原因の両方を発見するためのマルチモーダル情報融合の可能性を示している。
論文 参考訳(メタデータ) (2021-10-15T11:30:24Z) - Emotion Recognition from Multiple Modalities: Fundamentals and
Methodologies [106.62835060095532]
マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。
まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。
次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。
最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
論文 参考訳(メタデータ) (2021-08-18T21:55:20Z) - Recognizing Emotions evoked by Movies using Multitask Learning [3.4290619267487488]
誘発感情を認識する方法は通常、人間の注釈付きデータに基づいて訓練される。
本稿では,Single-Task (ST) アーキテクチャとMulti-Task (MT) アーキテクチャの2つのディープラーニングアーキテクチャを提案する。
以上の結果から,MT手法は,アグリゲートアノテーションを直接訓練した手法と比較して,各ビューアとアグリゲートアノテーションをより正確にモデル化できることがわかった。
論文 参考訳(メタデータ) (2021-07-30T10:21:40Z) - Affect2MM: Affective Analysis of Multimedia Content Using Emotion
Causality [84.69595956853908]
本稿では,マルチメディアコンテンツを対象とした時系列感情予測学習手法であるAffect2MMを提案する。
私たちの目標は、現実の人間中心の状況や行動でキャラクターが描く様々な感情を自動的に捉えることです。
論文 参考訳(メタデータ) (2021-03-11T09:07:25Z) - Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion
Recognition [62.48806555665122]
EmotiW 2019では、感情の特徴と、音声と視覚のモダリティのための機能融合戦略を主に検討している。
慎重な評価により、AFEW検証セットで65.5%、テストセットで62.48%、チャレンジで3位を獲得します。
論文 参考訳(メタデータ) (2020-12-27T10:50:24Z) - Modality-Transferable Emotion Embeddings for Low-Resource Multimodal
Emotion Recognition [55.44502358463217]
本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。
我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。
私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-09-21T06:10:39Z) - Context Based Emotion Recognition using EMOTIC Dataset [22.631542327834595]
EMOTIC(エモティック)は, 感情に注意を喚起された人々のイメージのデータセットである。
EMOTICデータセットを使用して、感情認識のためのさまざまなCNNモデルをトレーニングする。
その結果,情緒状態を自動的に認識するためにシーンコンテキストが重要な情報を提供することを示す。
論文 参考訳(メタデータ) (2020-03-30T12:38:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。