論文の概要: An Empirical Study and Improvement for Speech Emotion Recognition

• arxiv url: http://arxiv.org/abs/2304.03899v1
• Date: Sat, 8 Apr 2023 03:24:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 19:00:38.875739
• Title: An Empirical Study and Improvement for Speech Emotion Recognition
• Title（参考訳）: 音声感情認識のための経験的研究と改善
• Authors: Zhen Wu, Yizhe Lu, Xinyu Dai
• Abstract要約: マルチモーダル音声の感情認識は、音声とテキストから話者の感情を検出することを目的としている。 本研究では、音声とテキストのモダリティ情報を融合する方法という、シンプルながら重要な問題について考察する。 実験により,本手法はIEMOCAPデータセット上で得られた新しい最先端結果を示す。
• 参考スコア（独自算出の注目度）: 22.250228893114066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal speech emotion recognition aims to detect speakers' emotions from audio and text. Prior works mainly focus on exploiting advanced networks to model and fuse different modality information to facilitate performance, while neglecting the effect of different fusion strategies on emotion recognition. In this work, we consider a simple yet important problem: how to fuse audio and text modality information is more helpful for this multimodal task. Further, we propose a multimodal emotion recognition model improved by perspective loss. Empirical results show our method obtained new state-of-the-art results on the IEMOCAP dataset. The in-depth analysis explains why the improved model can achieve improvements and outperforms baselines.
• Abstract（参考訳）: マルチモーダル音声認識は、音声とテキストから話者の感情を検出することを目的としている。 先行研究は主に高度なネットワークを利用して異なるモダリティ情報をモデル化し融合し、パフォーマンスを向上させるが、異なる融合戦略が感情認識に与える影響を無視する。 本研究では,このマルチモーダルタスクにおいて,音声とテキストのモダリティ情報を融合する方法という,シンプルながら重要な問題を考える。 さらに、視点損失により改善されたマルチモーダル感情認識モデルを提案する。 実験により,本手法はIEMOCAPデータセット上で得られた新しい最先端結果を示す。 詳細な分析では、改善されたモデルが改善を達成し、ベースラインを上回る理由が説明されている。

関連論文リスト

• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• WavFusion: Towards wav2vec 2.0 Multimodal Speech Emotion Recognition [2.3367170233149324]
  We propose WavFusion, a multimodal speech emotion recognition framework。 WavFusionは、効果的なマルチモーダル融合、モダリティ、差別的表現学習における重要な研究課題に対処する。 本研究は, 精度の高いマルチモーダルSERにおいて, ニュアンスな相互モーダル相互作用を捉え, 識別表現を学習することの重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-07T06:43:39Z)
• Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition [52.522244807811894]
  本稿では,欠落したモダリティの問題に対処するために,即時学習を用いた新しいマルチモーダルトランスフォーマーフレームワークを提案する。 提案手法では,生成的プロンプト,欠信号プロンプト,欠信号プロンプトの3種類のプロンプトを導入している。 迅速な学習を通じて、トレーニング可能なパラメータの数を大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-07T13:55:56Z)
• AIMDiT: Modality Augmentation and Interaction via Multimodal Dimension Transformation for Emotion Recognition in Conversations [57.99479708224221]
  AIMDiTと呼ばれる新しいフレームワークを提案し、深い特徴のマルチモーダル融合の問題を解決する。 公開ベンチマークデータセットMELDでAIMDiTフレームワークを使用して行った実験では、Acc-7とw-F1メトリクスの2.34%と2.87%の改善が明らかにされた。
  論文  参考訳（メタデータ） (2024-04-12T11:31:18Z)
• FAF: A novel multimodal emotion recognition approach integrating face, body and text [13.485538135494153]
  我々は、感情認識作業を容易にするために、大規模マルチモーダル感情データセット「HED」を構築した。 認識の精度を高めるため,重要な感情情報の探索に「特徴アフター・フィーチャー」フレームワークが用いられた。 我々は、"HED"データセットの評価に様々なベンチマークを使用し、その性能を本手法と比較した。
  論文  参考訳（メタデータ） (2022-11-20T14:43:36Z)
• M2FNet: Multi-modal Fusion Network for Emotion Recognition in Conversation [1.3864478040954673]
  視覚,音声,テキストのモダリティから感情関連特徴を抽出するマルチモーダルフュージョンネットワーク(M2FNet)を提案する。 マルチヘッドアテンションに基づく融合機構を用いて、入力データの感情に富んだ潜在表現を結合する。 提案する特徴抽出器は,音声および視覚データから感情関連特徴を学習するために,適応的マージンに基づく新しい三重項損失関数を用いて訓練される。
  論文  参考訳（メタデータ） (2022-06-05T14:18:58Z)
• MMER: Multimodal Multi-task Learning for Speech Emotion Recognition [48.32879363033598]
  MMERは,音声認識のためのマルチモーダルマルチタスク学習手法である。 実際に、MMERはIEMOCAPベンチマークのベースラインと最先端のパフォーマンスをすべて達成します。
  論文  参考訳（メタデータ） (2022-03-31T04:51:32Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Leveraging Sentiment Analysis Knowledge to Solve Emotion Detection Tasks [11.928873764689458]
  本稿では,大規模データセット上での感情検出タスクを改善するために,適応層を融合したトランスフォーマーモデルを提案する。 また,CMU-MOSEIの感情認識には,テキストモダリティのみを用いながら,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-11-05T20:06:58Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。