論文の概要: Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions
- arxiv url: http://arxiv.org/abs/2011.08388v3
- Date: Wed, 28 Aug 2024 22:05:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-01 17:12:14.480293
- Title: Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions
- Title（参考訳）: 解釈可能な画像感情認識:表情を用いた領域適応手法
- Authors: Puneet Kumar, Balasubramanian Raman,
- Abstract要約: 本稿では,ジェネリックイメージ中の感情を識別するための特徴に基づくドメイン適応手法を提案する。
これは、事前訓練されたモデルと、画像感情認識(IER)のための十分に注釈付けされたデータセットの限られた可用性の課題に対処する。
提案されたIERシステムは、IAPSaデータセットの60.98%、ArtPhotoデータセットの58.86%、FIデータセットの69.13%、EMOTICデータセットの58.06%の感情分類精度を示した。
- 参考スコア（独自算出の注目度）: 11.808447247077902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a feature-based domain adaptation technique for identifying emotions in generic images, encompassing both facial and non-facial objects, as well as non-human components. This approach addresses the challenge of the limited availability of pre-trained models and well-annotated datasets for Image Emotion Recognition (IER). Initially, a deep-learning-based Facial Expression Recognition (FER) system is developed, classifying facial images into discrete emotion classes. Maintaining the same network architecture, this FER system is then adapted to recognize emotions in generic images through the application of discrepancy loss, enabling the model to effectively learn IER features while classifying emotions into categories such as 'happy,' 'sad,' 'hate,' and 'anger.' Additionally, a novel interpretability method, Divide and Conquer based Shap (DnCShap), is introduced to elucidate the visual features most relevant for emotion recognition. The proposed IER system demonstrated emotion classification accuracies of 60.98% for the IAPSa dataset, 58.86% for the ArtPhoto dataset, 69.13% for the FI dataset, and 58.06% for the EMOTIC dataset. The system effectively identifies the important visual features leading to specific emotion classifications and provides detailed embedding plots to explain the predictions, enhancing the understanding and trust in AI-driven emotion recognition systems.
- Abstract（参考訳）: 本稿では,顔と非顔の両方を包含する一般画像の感情を識別する特徴に基づく領域適応手法を提案する。
このアプローチは、事前訓練されたモデルと、画像感情認識(IER)のための十分な注釈付きデータセットの可用性が制限されるという課題に対処する。
まず,ディープラーニングに基づく表情認識(FER)システムを開発し,表情を個別の感情クラスに分類する。
同じネットワークアーキテクチャを維持しながら、このFERシステムは、差分損失を応用して一般的な画像の感情を認識するように適応され、モデルがIERの特徴を効果的に学習し、感情を「ハッピー」、「サド」、「ヘイト」、「アンガー」などのカテゴリに分類する。
さらに、感情認識に最も関係のある視覚的特徴を明らかにするために、新しい解釈可能性手法であるDivide and Conquer based Shap (DnCShap)を導入している。
提案されたIERシステムは、IAPSaデータセットの60.98%、ArtPhotoデータセットの58.86%、FIデータセットの69.13%、EMOTICデータセットの58.06%の感情分類精度を示した。
このシステムは、特定の感情分類につながる重要な視覚的特徴を効果的に識別し、予測を説明するための詳細な埋め込みプロットを提供し、AI駆動の感情認識システムに対する理解と信頼を高める。
関連論文リスト
- Emotion Detection through Body Gesture and Face [0.0]
このプロジェクトは、非顔の手がかり、特に手、身体のジェスチャー、ジェスチャーに焦点を当てることによる感情認識の課題に対処する。
従来の感情認識システムは、主に表情分析に依存しており、ボディランゲージを通して伝達される豊かな感情情報を無視することが多い。
このプロジェクトの目的は、マシンが人間の感情をより包括的でニュアンスな方法で解釈し、反応する能力を高めることで、感情コンピューティングの分野に貢献することにある。
論文 参考訳（メタデータ） (2024-07-13T15:15:50Z) - Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。
ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。
4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
論文 参考訳（メタデータ） (2024-04-18T15:28:34Z) - Music Recommendation Based on Facial Emotion Recognition [0.0]
本稿では,GRAD-CAMを用いた感情認識,音楽レコメンデーション,説明可能なAIの統合によるユーザエクスペリエンス向上のための包括的アプローチを提案する。
提案手法は、表情認識データセットに基づいて訓練されたResNet50モデルを用いて、様々な感情を表現している個人の実像からなる。
論文 参考訳（メタデータ） (2024-04-06T15:14:25Z) - StyleEDL: Style-Guided High-order Attention Network for Image Emotion
Distribution Learning [69.06749934902464]
StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。
StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。
さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
論文 参考訳（メタデータ） (2023-08-06T03:22:46Z) - SAFER: Situation Aware Facial Emotion Recognition [0.0]
表情から感情を認識する新しいシステムであるSAFERを提案する。
最先端のディープラーニング技術を使って、顔画像からさまざまな特徴を抽出する。
目に見えない多様な表情に適応でき、現実世界の用途に適している。
論文 参考訳（メタデータ） (2023-06-14T20:42:26Z) - Interpretable Multimodal Emotion Recognition using Hybrid Fusion of
Speech and Image Data [15.676632465869346]
特定の感情のクラスの予測に繋がる重要な音声・画像の特徴を識別する新しい解釈可能性技術を開発した。
提案システムは感情認識の精度を83.29%向上させた。
論文 参考訳（メタデータ） (2022-08-25T04:43:34Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。
PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。
PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
論文 参考訳（メタデータ） (2022-07-22T13:39:06Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。