論文の概要: Context Based Emotion Recognition using EMOTIC Dataset
- arxiv url: http://arxiv.org/abs/2003.13401v1
- Date: Mon, 30 Mar 2020 12:38:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 07:00:50.823931
- Title: Context Based Emotion Recognition using EMOTIC Dataset
- Title（参考訳）: エモティックデータセットを用いたコンテキストベース感情認識
- Authors: Ronak Kosti, Jose M. Alvarez, Adria Recasens, Agata Lapedriza
- Abstract要約: EMOTIC(エモティック)は, 感情に注意を喚起された人々のイメージのデータセットである。
EMOTICデータセットを使用して、感情認識のためのさまざまなCNNモデルをトレーニングする。
その結果,情緒状態を自動的に認識するためにシーンコンテキストが重要な情報を提供することを示す。
- 参考スコア（独自算出の注目度）: 22.631542327834595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In our everyday lives and social interactions we often try to perceive the
emotional states of people. There has been a lot of research in providing
machines with a similar capacity of recognizing emotions. From a computer
vision perspective, most of the previous efforts have been focusing in
analyzing the facial expressions and, in some cases, also the body pose. Some
of these methods work remarkably well in specific settings. However, their
performance is limited in natural, unconstrained environments. Psychological
studies show that the scene context, in addition to facial expression and body
pose, provides important information to our perception of people's emotions.
However, the processing of the context for automatic emotion recognition has
not been explored in depth, partly due to the lack of proper data. In this
paper we present EMOTIC, a dataset of images of people in a diverse set of
natural situations, annotated with their apparent emotion. The EMOTIC dataset
combines two different types of emotion representation: (1) a set of 26
discrete categories, and (2) the continuous dimensions Valence, Arousal, and
Dominance. We also present a detailed statistical and algorithmic analysis of
the dataset along with annotators' agreement analysis. Using the EMOTIC dataset
we train different CNN models for emotion recognition, combining the
information of the bounding box containing the person with the contextual
information extracted from the scene. Our results show how scene context
provides important information to automatically recognize emotional states and
motivate further research in this direction. Dataset and code is open-sourced
and available at: https://github.com/rkosti/emotic and link for the
peer-reviewed published article: https://ieeexplore.ieee.org/document/8713881
- Abstract（参考訳）: 日常生活や社会的相互作用において、私たちはしばしば人々の感情状態を理解しようとします。
感情を認識する能力を備えたマシンを提供するには、多くの研究がある。
コンピュータビジョンの観点から、これまでの取り組みのほとんどは、表情の分析と、場合によっては身体のポーズにも焦点を合わせてきた。
これらの方法のいくつかは、特定の設定で非常にうまく機能します。
しかし、その性能は自然で制約のない環境に限られている。
心理研究では、表情や身体のポーズに加えて、場面の文脈が人間の感情の知覚に重要な情報をもたらすことが示されている。
しかし、適切なデータが不足していることもあって、文脈の自動感情認識の処理は深く研究されていない。
本稿では,多様な自然環境における人々のイメージのデータセットであるエモティクスについて,その感情に注釈を付けて述べる。
EMOTICデータセットは、(1)26の個別カテゴリーの集合と(2)連続次元のValence、Arousal、Dominanceの2つの異なるタイプの感情表現を組み合わせる。
また,アノテータの合意分析とともに,データセットの詳細な統計解析とアルゴリズム解析を行う。
EMOTICデータセットを用いて、感情認識のための異なるCNNモデルをトレーニングし、人物を含む境界ボックスの情報とシーンから抽出された文脈情報とを組み合わせる。
その結果,シーンコンテキストは感情状態を自動的に認識し,その方向へのさらなる研究を動機付ける重要な情報を提供する。
https://github.com/rkosti/emotic and link for the peer-reviewed published article: https://ieeexplore.ieee.org/document/8713881
関連論文リスト
- UniEmoX: Cross-modal Semantic-Guided Large-Scale Pretraining for Universal Scene Emotion Perception [8.54013419046987]
視覚的感情分析のためのクロスモーダルな意味誘導型大規模事前学習フレームワークUniEmoXを紹介する。
UniEmoXは、ペア画像と未ペア画像テキストの類似性を利用して、CLIPモデルから豊富な意味知識を抽出し、感情的な埋め込み表現を強化する。
Emo8というタイトルの視覚的感情的データセットを開発し、ほとんどすべての感情的シーンをカバーしています。
論文 参考訳（メタデータ） (2024-09-27T16:12:51Z) - Emotion Rendering for Conversational Speech Synthesis with Heterogeneous
Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。
データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。
我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文 参考訳（メタデータ） (2023-12-19T08:47:50Z) - Multi-Branch Network for Imagery Emotion Prediction [4.618814297494939]
画像中の離散的感情と連続的感情の両方を予測する新しいマルチブランチネットワーク(MBN)を提案する。
提案手法は,mAPが28.4%,MAEが0.93で最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-12-12T18:34:56Z) - EmoSet: A Large-scale Visual Emotion Dataset with Rich Attributes [53.95428298229396]
リッチ属性を付加した最初の大規模視覚感情データセットであるEmoSetを紹介する。
EmoSetは合計330万枚の画像で構成され、そのうち118,102枚は人間のアノテーションによって慎重にラベル付けされている。
心理学的な研究によって動機付けられ、感情のカテゴリに加えて、各画像には記述可能な感情特性のセットが注釈付けされている。
論文 参考訳（メタデータ） (2023-07-16T06:42:46Z) - A cross-corpus study on speech emotion recognition [29.582678406878568]
本研究では,行動感情から学習した情報が,自然感情の検出に有用かどうかを検討する。
成人英語の4つのデータセットは、行動的、誘惑的、自然な感情をカバーしている。
性能劣化を正確に調査するための最先端モデルを提案する。
論文 参考訳（メタデータ） (2022-07-05T15:15:22Z) - Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。
提案手法とCAER-Sデータセットの最先端手法を比較した。
論文 参考訳（メタデータ） (2021-11-03T15:08:55Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳（メタデータ） (2021-06-30T15:20:56Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳（メタデータ） (2021-06-23T14:53:27Z) - Affect2MM: Affective Analysis of Multimedia Content Using Emotion
Causality [84.69595956853908]
本稿では,マルチメディアコンテンツを対象とした時系列感情予測学習手法であるAffect2MMを提案する。
私たちの目標は、現実の人間中心の状況や行動でキャラクターが描く様々な感情を自動的に捉えることです。
論文 参考訳（メタデータ） (2021-03-11T09:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。