論文の概要: Domain Adaptation based Interpretable Image Emotion Recognition using
Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2011.08388v2
- Date: Wed, 7 Feb 2024 13:23:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 21:10:39.479868
- Title: Domain Adaptation based Interpretable Image Emotion Recognition using
Facial Expression Recognition
- Title(参考訳): 表情認識を用いたドメイン適応型解釈可能な画像感情認識
- Authors: Puneet Kumar and Balasubramanian Raman
- Abstract要約: 本稿では,顔と非顔と非人体成分を含む一般的な画像中の感情を識別するために,ドメイン適応手法を提案する。
これは、事前訓練されたモデルと、画像感情認識(IER)のための十分な注釈付きデータセットが不十分であることの課題に対処する。
まず、顔の感情認識(FER)システムを提案し、次に画像の感情認識に適応させる。
- 参考スコア(独自算出の注目度): 13.950116138578267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A domain adaptation technique has been proposed in this paper to identify the
emotions in generic images containing facial & non-facial objects and non-human
components. It addresses the challenge of the insufficient availability of
pre-trained models and well-annotated datasets for image emotion recognition
(IER). It starts with proposing a facial emotion recognition (FER) system and
then moves on to adapting it for image emotion recognition. First, a
deep-learning-based FER system has been proposed that classifies a given facial
image into discrete emotion classes. Further, an image recognition system has
been proposed that adapts the proposed FER system to recognize the emotions
portrayed by images using domain adaptation. It classifies the generic images
into 'happy,' 'sad,' 'hate,' and 'anger' classes. A novel interpretability
approach, Divide and Conquer based Shap (DnCShap), has also been proposed to
interpret the highly relevant visual features for emotion recognition. The
proposed system's architecture has been decided through ablation studies, and
the experiments are conducted on four FER and four IER datasets. The proposed
IER system has shown an emotion classification accuracy of 59.61% for the IAPSa
dataset, 57.83% for the ArtPhoto dataset, 67.93% for the FI dataset, and 55.13%
for the EMOTIC dataset. The important visual features leading to a particular
emotion class have been identified, and the embedding plots for various emotion
classes have been analyzed to explain the proposed system's predictions.
- Abstract(参考訳): 本稿では,顔と非顔と非人体成分を含む一般的な画像中の感情を識別する領域適応手法を提案する。
事前訓練されたモデルと、画像感情認識(IER)のための十分な注釈付きデータセットが不十分であることの課題に対処する。
まず、顔の感情認識(FER)システムを提案し、次に画像の感情認識に適応させる。
まず、ある顔画像を個別の感情クラスに分類する深層学習に基づくFERシステムを提案する。
さらに,提案するferシステムを用いて,画像に表現された感情をドメイン適応を用いて認識する画像認識システムを提案する。
ジェネリックイメージを'happy'、'sad'、'hate'、'anger'クラスに分類する。
新たな解釈可能性アプローチであるDivide and Conquer based Shap (DnCShap) も、感情認識に関連性の高い視覚的特徴を解釈するために提案されている。
システムアーキテクチャはアブレーション研究により決定され、4つのFERと4つのIERデータセットで実験が行われた。
提案されたIERシステムは、IAPSaデータセットで59.61%、ArtPhotoデータセットで57.83%、FIデータセットで67.93%、EMOTICデータセットで55.13%の感情分類精度を示した。
特定の感情クラスにつながる重要な視覚的特徴が同定され、様々な感情クラスの埋め込みプロットがシステムの予測を説明するために解析された。
関連論文リスト
- StyleEDL: Style-Guided High-order Attention Network for Image Emotion
Distribution Learning [69.06749934902464]
StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。
StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。
さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
論文 参考訳(メタデータ) (2023-08-06T03:22:46Z) - SAFER: Situation Aware Facial Emotion Recognition [0.0]
表情から感情を認識する新しいシステムであるSAFERを提案する。
最先端のディープラーニング技術を使って、顔画像からさまざまな特徴を抽出する。
目に見えない多様な表情に適応でき、現実世界の用途に適している。
論文 参考訳(メタデータ) (2023-06-14T20:42:26Z) - PERI: Part Aware Emotion Recognition In The Wild [4.206175795966693]
本稿では視覚的特徴を用いた感情認識に焦点を当てる。
身体のポーズと顔のランドマークの両方から生成されたマスクを用いて、入力画像からキー領域を抽出し、部分認識空間(PAS)画像を作成する。
野生のEMOTICデータセットで公開されている結果について報告する。
論文 参考訳(メタデータ) (2022-10-18T20:01:40Z) - Interpretable Multimodal Emotion Recognition using Hybrid Fusion of
Speech and Image Data [15.676632465869346]
特定の感情のクラスの予測に繋がる重要な音声・画像の特徴を識別する新しい解釈可能性技術を開発した。
提案システムは感情認識の精度を83.29%向上させた。
論文 参考訳(メタデータ) (2022-08-25T04:43:34Z) - Hybrid Fusion Based Interpretable Multimodal Emotion Recognition with
Limited Labelled Data [23.211531926226524]
VISTA Netは、早期融合と後期融合のハイブリッドを用いて、画像、音声、テキストのモダリティから情報を融合する。
KAAP技術は、特定の感情のクラスを予測するために、各モダリティとそれに対応する特徴の寄与を計算する。
VISTAネットは、IIT-R MMEmoRecデータセット上で95.99%の感情認識精度を得た。
論文 参考訳(メタデータ) (2022-08-24T11:35:51Z) - Emotion Separation and Recognition from a Facial Expression by
Generating the Poker Face with Vision Transformers [57.67586172996843]
静的な顔画像から外乱非依存の感情を分離し認識するための新しいFERモデルであるポーカー・フェイス・ビジョン・トランスフォーマー(PF-ViT)を提案する。
PF-ViTは、ペア画像なしで対応するポーカーフェイスを生成する。
論文 参考訳(メタデータ) (2022-07-22T13:39:06Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳(メタデータ) (2021-10-24T02:41:41Z) - Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。
我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。
実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
論文 参考訳(メタデータ) (2021-09-04T08:14:52Z) - Affective Image Content Analysis: Two Decades Review and New
Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。
我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。
画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文 参考訳(メタデータ) (2021-06-30T15:20:56Z) - A Circular-Structured Representation for Visual Emotion Distribution
Learning [82.89776298753661]
視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。
具体的には、まず感情圏を構築し、その内にある感情状態を統一する。
提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
論文 参考訳(メタデータ) (2021-06-23T14:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。