論文の概要: Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs

• arxiv url: http://arxiv.org/abs/2410.20334v1
• Date: Sun, 27 Oct 2024 04:23:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:14:35.674990
• Title: Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
• Title（参考訳）: 文脈的発話分析とLLMによる音声による感情認識の改善
• Authors: Enshi Zhang, Christian Poellabauer,
• Abstract要約: 音声感情認識(SER)は、音声言語から感情状態を特定することに焦点を当てている。 データ信頼性を確保するために、まず利用可能なすべての書き起こしを改良する新しいアプローチを提案する。 次に、各会話をより小さな対話に分割し、これらの対話を文脈として使用し、対話内のターゲット発話の感情を予測する。
• 参考スコア（独自算出の注目度）: 2.8728982844941178
• License:
• Abstract: Speech Emotion Recognition (SER) focuses on identifying emotional states from spoken language. The 2024 IEEE SLT-GenSEC Challenge on Post Automatic Speech Recognition (ASR) Emotion Recognition tasks participants to explore the capabilities of large language models (LLMs) for emotion recognition using only text data. We propose a novel approach that first refines all available transcriptions to ensure data reliability. We then segment each complete conversation into smaller dialogues and use these dialogues as context to predict the emotion of the target utterance within the dialogue. Finally, we investigated different context lengths and prompting techniques to improve prediction accuracy. Our best submission exceeded the baseline by 20% in unweighted accuracy, achieving the best performance in the challenge. All our experiments' codes, prediction results, and log files are publicly available.
• Abstract（参考訳）: 音声感情認識(SER)は、音声言語から感情状態を特定することに焦点を当てている。 2024年IEEE SLT-GenSEC Challenge on Post Automatic Speech Recognition (ASR) Emotion Recognition task 参加者は、テキストデータのみを使用して、感情認識のための大きな言語モデル(LLM)の能力を探求する。 データ信頼性を確保するために、まず利用可能なすべての書き起こしを改良する新しいアプローチを提案する。 次に、各会話をより小さな対話に分割し、これらの対話を文脈として使用し、対話内のターゲット発話の感情を予測する。 最後に、予測精度を向上させるために、異なる文脈長とプロンプト技術について検討した。 私たちのベスト・サブミッションは、未重み付けの精度でベースラインを20%超え、チャレンジで最高のパフォーマンスを達成しました。 実験のコード、予測結果、ログファイルはすべて公開されています。

関連論文リスト

• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Acknowledgment of Emotional States: Generating Validating Responses for Empathetic Dialogue [21.621844911228315]
  本研究は,共感的対話を有効活用するための最初の枠組みを紹介する。 本手法では,1)検証タイミング検出,2)ユーザの感情状態の同定,3)応答生成の検証を行う。
  論文  参考訳（メタデータ） (2024-02-20T07:20:03Z)
• Speech and Text-Based Emotion Recognizer [0.9168634432094885]
  我々は、音声感情認識のための公開データセットからバランスの取れたコーパスを構築する。 最良システムはマルチモーダル音声とテキストベースモデルであり,UA(Unweighed Accuracy)+WA(Weighed Accuracy)を119.66のベースラインアルゴリズムと比較して157.57の性能を提供する。
  論文  参考訳（メタデータ） (2023-12-10T05:17:39Z)
• Multiscale Contextual Learning for Speech Emotion Recognition in Emergency Call Center Conversations [4.297070083645049]
  本稿では,音声感情認識のためのマルチスケール会話文脈学習手法を提案する。 音声の書き起こしと音響セグメントの両方について,本手法について検討した。 我々のテストによると、過去のトークンから派生したコンテキストは、以下のトークンよりも正確な予測に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-08-28T20:31:45Z)
• Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning [70.30713251031052]
  本研究では,データ駆動型深層学習モデル,すなわちSenseNetを提案する。 実験の結果,提案した強度ネットの予測感情強度は,目視と目視の両方の真理値と高い相関性を示した。
  論文  参考訳（メタデータ） (2022-06-15T01:25:32Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Multimodal Emotion Recognition with High-level Speech and Text Features [8.141157362639182]
  本稿では,wav2vec 2.0音声特徴量に対する感情認識を実現するために,新しいクロス表現音声モデルを提案する。 また、Transformerベースのモデルを用いて抽出したテキスト特徴から感情を認識するために、CNNベースのモデルをトレーニングする。 本手法は,4クラス分類問題においてIEMOCAPデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-09-29T07:08:40Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)
• Exploiting Unsupervised Data for Emotion Recognition in Conversations [76.01690906995286]
  会話における感情認識(Emotion Recognition in Conversations:ERC)は、会話における話者の感情状態を予測することを目的としている。 ERCタスクの教師付きデータは限られている。 教師なし会話データを活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:28:47Z)
• Embedded Emotions -- A Data Driven Approach to Learn Transferable Feature Representations from Raw Speech Input for Emotion Recognition [1.4556324908347602]
  本研究では,大規模テキストと音声コーパスから学習した知識を自動感情認識のタスクに適用する可能性について検討する。 その結果,学習した特徴表現を音声言語からの感情の分類に効果的に適用できることが示唆された。
  論文  参考訳（メタデータ） (2020-09-30T09:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。