論文の概要: Temporal aggregation of audio-visual modalities for emotion recognition

• arxiv url: http://arxiv.org/abs/2007.04364v1
• Date: Wed, 8 Jul 2020 18:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 10:03:12.421664
• Title: Temporal aggregation of audio-visual modalities for emotion recognition
• Title（参考訳）: 感情認識のための音声・視覚の時間的アグリゲーション
• Authors: Andreea Birhala, Catalin Nicolae Ristea, Anamaria Radoi, Liviu Cristian Dutu
• Abstract要約: 本研究では,時間的オフセットの異なる時間的オフセットと時間的ウィンドウからの音声・視覚的モダリティを組み合わせた感情認識のためのマルチモーダル融合手法を提案する。 提案手法は,文献と人間の精度評価から,他の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 0.5352699766206808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emotion recognition has a pivotal role in affective computing and in human-computer interaction. The current technological developments lead to increased possibilities of collecting data about the emotional state of a person. In general, human perception regarding the emotion transmitted by a subject is based on vocal and visual information collected in the first seconds of interaction with the subject. As a consequence, the integration of verbal (i.e., speech) and non-verbal (i.e., image) information seems to be the preferred choice in most of the current approaches towards emotion recognition. In this paper, we propose a multimodal fusion technique for emotion recognition based on combining audio-visual modalities from a temporal window with different temporal offsets for each modality. We show that our proposed method outperforms other methods from the literature and human accuracy rating. The experiments are conducted over the open-access multimodal dataset CREMA-D.
• Abstract（参考訳）: 感情認識は感情コンピューティングや人間とコンピュータの相互作用において重要な役割を担っている。 現在の技術進歩は、人の感情状態に関するデータを収集する可能性を高めている。 一般に、被写体が伝達する感情に関する人間の知覚は、被写体との最初の秒間で収集された声と視覚情報に基づいている。 その結果、感情認識に対する現在のアプローチのほとんどにおいて、言語的(つまり、音声)と非言語的(すなわち、画像)の情報の統合が望ましい選択であるように思われる。 本稿では,各モダリティに対する時間的オフセットの異なる時間窓からの音声と視覚のモダリティを組み合わせた感情認識のためのマルチモーダル融合手法を提案する。 提案手法は,文献や精度評価から,他の手法よりも優れていることを示す。 実験は、オープンアクセスマルチモーダルデータセットCREMA-D上で実施される。

関連論文リスト

• Emotion Recognition from the perspective of Activity Recognition [0.0]
  人間の感情状態、行動、反応を現実世界の環境に適応させることは、潜伏した連続した次元を用いて達成できる。 感情認識システムが現実のモバイルおよびコンピューティングデバイスにデプロイされ統合されるためには、世界中の収集されたデータを考慮する必要がある。 本稿では,注目機構を備えた新しい3ストリームエンドツーエンドのディープラーニング回帰パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-24T18:53:57Z)
• Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
  隠れ変数分離に基づく動的因果解離モデルを提案する。 このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。 具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-13T12:58:09Z)
• deep learning of segment-level feature representation for speech emotion recognition in conversations [9.432208348863336]
  そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。 まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。 第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
  論文  参考訳（メタデータ） (2023-02-05T16:15:46Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
  適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。 提案手法とCAER-Sデータセットの最先端手法を比較した。
  論文  参考訳（メタデータ） (2021-11-03T15:08:55Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition [2.1485350418225244]
  人間の行動分析のために, 自発的なマルチモーダル感情認識が広く研究されている。 視聴覚感情認識のための深層学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:49:15Z)
• Emotion Recognition From Gait Analyses: Current Research and Future Directions [48.93172413752614]
  歩行はウォーカーの感情に関する情報を伝える 様々な感情と歩行パターンのマッピングは、感情の自動認識のための新しい情報源を提供する。 歩行は遠隔観察可能で 模倣が困難で 被験者との協力も少ない
  論文  参考訳（メタデータ） (2020-03-13T08:22:33Z)
• Emotion Recognition System from Speech and Visual Information based on Convolutional Neural Networks [6.676572642463495]
  本研究では,感情を高精度かつリアルタイムに認識できるシステムを提案する。 音声認識システムの精度を高めるため、音声データも分析し、両情報源から得られる情報を融合する。
  論文  参考訳（メタデータ） (2020-02-29T22:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。