Fugu-MT 論文翻訳(概要): Interpretable Multimodal Emotion Recognition using Facial Features and Physiological Signals

論文の概要: Interpretable Multimodal Emotion Recognition using Facial Features and Physiological Signals

arxiv url: http://arxiv.org/abs/2306.02845v1
Date: Mon, 5 Jun 2023 12:57:07 GMT
ステータス: 処理完了
システム内更新日: 2023-06-06 15:13:50.592196
Title: Interpretable Multimodal Emotion Recognition using Facial Features and Physiological Signals
Title（参考訳）: 顔の特徴と生理的信号を用いた解釈可能なマルチモーダル感情認識
Authors: Puneet Kumar and Xiaobai Li
Abstract要約: 視覚的な顔の特徴や、入力ビデオから抽出したr信号から情報を融合することで、感情理解のためのマルチモーダルフレームワークを導入する。置換重要度分析に基づく解釈可能性技術も実装されている。
参考スコア（独自算出の注目度）: 16.549488750320336
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper aims to demonstrate the importance and feasibility of fusing multimodal information for emotion recognition. It introduces a multimodal framework for emotion understanding by fusing the information from visual facial features and rPPG signals extracted from the input videos. An interpretability technique based on permutation feature importance analysis has also been implemented to compute the contributions of rPPG and visual modalities toward classifying a given input video into a particular emotion class. The experiments on IEMOCAP dataset demonstrate that the emotion classification performance improves by combining the complementary information from multiple modalities.
Abstract（参考訳）: 本稿では,感情認識のためのマルチモーダル情報の融合の重要性と実現可能性を示す。入力映像から抽出した視覚特徴とrppg信号からの情報を用いて感情理解のためのマルチモーダルフレームワークを導入する。また、ある入力ビデオから特定の感情クラスに分類するためのrPPGと視覚的モダリティの寄与を計算するために、置換特徴重要度分析に基づく解釈可能性技術も実装されている。 IEMOCAPデータセットの実験では、複数のモーダルからの相補的な情報を組み合わせることにより、感情分類性能が向上することを示した。

関連論文リスト

Milmer: a Framework for Multiple Instance Learning based Multimodal Emotion Recognition [16.616341358877243]
本研究は,表情解析と脳波信号の統合による感情認識の課題に対処する。提案するフレームワークは、視覚的および生理的モダリティを効果的に統合するために、トランスフォーマーベースの融合アプローチを採用している。この研究の重要な革新は、複数の表情画像から意味のある情報を抽出する多重インスタンス学習(MIL)アプローチの採用である。
論文参考訳（メタデータ） (2025-02-01T20:32:57Z)
Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
論文参考訳（メタデータ） (2024-12-12T11:30:41Z)
PSVMA+: Exploring Multi-granularity Semantic-visual Adaption for Generalized Zero-shot Learning [116.33775552866476]
一般化ゼロショット学習(GZSL)は、目に見えない領域の知識を用いて、見えないものを識別する試みである。 GZSLは、属性の多様性とインスタンスの多様性により、視覚的セマンティックな対応が不十分である。本稿では,不整合の解消に十分な視覚要素を収集できる多粒性プログレッシブ・セマンティック・視覚適応ネットワークを提案する。
論文参考訳（メタデータ） (2024-10-15T12:49:33Z)
Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition [14.639340916340801]
マルチモーダル感情認識 (AR-IIGCN) 法に対して, モーダル内およびモーダル間グラフコントラストを用いた新しい適応表現を提案する。まず、ビデオ、オーディオ、テキストの特徴を多層パーセプトロン(MLP)に入力し、それらを別々の特徴空間にマッピングする。第2に,逆表現による3つのモーダル特徴に対するジェネレータと判別器を構築する。第3に、モーダル内およびモーダル間相補的意味情報を取得するために、コントラッシブグラフ表現学習を導入する。
論文参考訳（メタデータ） (2023-12-28T01:57:26Z)
EMERSK -- Explainable Multimodal Emotion Recognition with Situational Knowledge [0.0]
状況知識を用いた説明可能なマルチモーダル感情認識(EMERSK)を提案する。 EMERSKは視覚情報を用いた人間の感情認識と説明のための汎用システムである。本システムは, 表情, 姿勢, 歩行などの複数のモーダルを柔軟かつモジュラーな方法で処理することができる。
論文参考訳（メタデータ） (2023-06-14T17:52:37Z)
Interpretable Multimodal Emotion Recognition using Hybrid Fusion of Speech and Image Data [15.676632465869346]
特定の感情のクラスの予測に繋がる重要な音声・画像の特徴を識別する新しい解釈可能性技術を開発した。提案システムは感情認識の精度を83.29%向上させた。
論文参考訳（メタデータ） (2022-08-25T04:43:34Z)
Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文参考訳（メタデータ） (2022-02-16T00:23:42Z)
Multi-modal Text Recognition Networks: Interactive Enhancements between Visual and Semantic Features [11.48760300147023]
本稿では,MATRN(Multi-Almod Text Recognition Network)と呼ばれる新しい手法を提案する。 MATRNは視覚的特徴対と意味的特徴対を特定し、空間情報を意味的特徴にエンコードする。実験の結果,MATRNは7つのベンチマークで最先端のパフォーマンスを達成できた。
論文参考訳（メタデータ） (2021-11-30T10:22:11Z)
MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition [118.73025093045652]
マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。提案するMEMOBERTは感情認識性能を大幅に向上させる。
論文参考訳（メタデータ） (2021-10-27T09:57:00Z)
Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
論文参考訳（メタデータ） (2021-03-01T08:31:08Z)
Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。