論文の概要: Emotion recognition in talking-face videos using persistent entropy and neural networks

• arxiv url: http://arxiv.org/abs/2110.13571v1
• Date: Tue, 26 Oct 2021 11:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 15:42:12.374709
• Title: Emotion recognition in talking-face videos using persistent entropy and neural networks
• Title（参考訳）: 持続的エントロピーとニューラルネットワークを用いた音声映像における感情認識
• Authors: Eduardo Paluzo-Hidalgo, Guillermo Aguirre-Carrazana, Rocio Gonzalez-Diaz
• Abstract要約: 私たちは、会話ビデオから感情を認識し、分類するための主要なツールとして、永続的エントロピーとニューラルネットワークを使用します。 ビデオの小さな変化は、署名に小さな変化をもたらすことを証明している。 これらのトポロジカルなシグネチャは、ニューラル・ネットワークに、中立、穏やか、幸せ、悲しみ、怒り、恐怖、嫌悪、驚きの感情を区別するために使用される。
• 参考スコア（独自算出の注目度）: 0.5156484100374059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The automatic recognition of a person's emotional state has become a very active research field that involves scientists specialized in different areas such as artificial intelligence, computer vision or psychology, among others. Our main objective in this work is to develop a novel approach, using persistent entropy and neural networks as main tools, to recognise and classify emotions from talking-face videos. Specifically, we combine audio-signal and image-sequence information to compute a topology signature(a 9-dimensional vector) for each video. We prove that small changes in the video produce small changes in the signature. These topological signatures are used to feed a neural network to distinguish between the following emotions: neutral, calm, happy, sad, angry, fearful, disgust, and surprised. The results reached are promising and competitive, beating the performance reached in other state-of-the-art works found in the literature.
• Abstract（参考訳）: 人の感情状態の自動認識は、人工知能、コンピュータビジョン、心理学など、さまざまな分野の科学者が関与する非常に活発な研究分野となっている。 この研究の主な目的は、永続的エントロピーとニューラルネットワークを主要なツールとして、会話のビデオから感情を認識し分類する、新しいアプローチを開発することです。 具体的には、音声信号と画像シーケンス情報を組み合わせて、各ビデオのトポロジーシグネチャ(9次元ベクトル)を計算する。 ビデオの小さな変化は、署名に小さな変化をもたらすことを証明している。 これらのトポロジカルなシグネチャは、ニューラルネットワークに餌を与え、以下の感情を区別するために使用される: 中性、穏やか、幸福、悲しい、怒り、恐れ、嫌悪、驚き。 成果は有望で競争力があり、文献にある他の最先端作品のパフォーマンスを上回っています。

関連論文リスト

• Authentic Emotion Mapping: Benchmarking Facial Expressions in Real News [21.707761612280304]
  本稿では,現実的なニュースビデオから抽出した顔のランドマークを用いた感情認識のための新しいベンチマークを提案する。 従来のRGB画像に依存した手法は資源集約的な手法であるのに対し、FLER(Facial Landmark Emotion Recognition)によるアプローチはシンプルで効果的な代替手段である。
  論文  参考訳（メタデータ） (2024-04-21T00:14:03Z)
• Emotion Analysis on EEG Signal Using Machine Learning and Neural Network [0.0]
  本研究の目的は,脳信号を用いた感情認識能力の向上である。 人間と機械の相互作用技術への様々なアプローチは長い間進行中であり、近年では脳信号を使って感情を自動的に理解することに成功した。
  論文  参考訳（メタデータ） (2023-07-09T09:50:34Z)
• Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
  適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。 提案手法とCAER-Sデータセットの最先端手法を比較した。
  論文  参考訳（メタデータ） (2021-11-03T15:08:55Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition [2.1485350418225244]
  人間の行動分析のために, 自発的なマルチモーダル感情認識が広く研究されている。 視聴覚感情認識のための深層学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:49:15Z)
• Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
  顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。 感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
  論文  参考訳（メタデータ） (2021-03-01T08:31:08Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)
• Facial Emotion Recognition with Noisy Multi-task Annotations [88.42023952684052]
  ノイズの多いマルチタスクアノテーションを用いた顔の感情認識の新しい問題を提案する。 この新たな問題に対して,共同分布マッチングの観点からの定式化を提案する。 我々は,感情予測と共同分布学習を可能にする新しい手法を利用する。
  論文  参考訳（メタデータ） (2020-10-19T20:39:37Z)
• Emotional Video to Audio Transformation Using Deep Recurrent Neural Networks and a Neuro-Fuzzy System [8.900866276512364]
  現在のアプローチは、音楽生成ステップにおけるビデオの感情的特徴を見落としている。 本稿では,適応型ニューロファジィ推論システムを用いて映像の感情を予測するハイブリッドディープニューラルネットワークを提案する。 我々のモデルは、両方のデータセットのビューアーから類似した感情を引き出すシーンにマッチする音声を効果的に生成できる。
  論文  参考訳（メタデータ） (2020-04-05T07:18:28Z)
• An End-to-End Visual-Audio Attention Network for Emotion Recognition in User-Generated Videos [64.91614454412257]
  畳み込みニューラルネットワーク(CNN)に基づくエンドツーエンドの映像感情認識を提案する。 具体的には,空間的,チャネル的,時間的注意を視覚的に3D CNNに統合し,時間的注意をオーディオ2D CNNに組み込む新しいアーキテクチャである,深層ビジュアル・オーディオ・アテンション・ネットワーク(VAANet)を開発した。
  論文  参考訳（メタデータ） (2020-02-12T15:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。