論文の概要: Enhancing Speech Emotion Recognition with Graph-Based Multimodal Fusion and Prosodic Features for the Speech Emotion Recognition in Naturalistic Conditions Challenge at Interspeech 2025

• arxiv url: http://arxiv.org/abs/2506.02088v1
• Date: Mon, 02 Jun 2025 13:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.907842
• Title: Enhancing Speech Emotion Recognition with Graph-Based Multimodal Fusion and Prosodic Features for the Speech Emotion Recognition in Naturalistic Conditions Challenge at Interspeech 2025
• Title（参考訳）: グラフベースマルチモーダル融合による音声感情認識の強化と音声感情認識のための韻律的特徴
• Authors: Alef Iury Siqueira Ferreira, Lucas Rafael Gris, Alexandre Ferro Filho, Lucas Ólives, Daniel Ribeiro, Luiz Fernando, Fernanda Lustosa, Rodrigo Tanaka, Frederico Santos de Oliveira, Arlindo Galvão Filho,
• Abstract要約: 自然条件課題におけるInterSPEECH 2025音声感情認識のための頑健なシステムを提案する。 提案手法は,最先端の音声モデルと韻律的・スペクトル的手法によって強化されたテキスト特徴を組み合わせる。
• 参考スコア（独自算出の注目度）: 64.59170359368699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training SER models in natural, spontaneous speech is especially challenging due to the subtle expression of emotions and the unpredictable nature of real-world audio. In this paper, we present a robust system for the INTERSPEECH 2025 Speech Emotion Recognition in Naturalistic Conditions Challenge, focusing on categorical emotion recognition. Our method combines state-of-the-art audio models with text features enriched by prosodic and spectral cues. In particular, we investigate the effectiveness of Fundamental Frequency (F0) quantization and the use of a pretrained audio tagging model. We also employ an ensemble model to improve robustness. On the official test set, our system achieved a Macro F1-score of 39.79% (42.20% on validation). Our results underscore the potential of these methods, and analysis of fusion techniques confirmed the effectiveness of Graph Attention Networks. Our source code is publicly available.
• Abstract（参考訳）: 自然な自然発話でSERモデルを訓練することは、感情の微妙な表現と現実の音声の予測不可能な性質のために特に困難である。 本稿では,自然条件課題におけるInterSPEECH 2025音声感情認識のための頑健なシステムを提案する。 提案手法は,最先端の音声モデルと韻律的・スペクトル的手法によって強化されたテキスト特徴を組み合わせる。 特に,基本周波数(F0)量子化の有効性と事前学習音声タグ付けモデルの有用性について検討する。 堅牢性を改善するためにアンサンブルモデルも使用しています。 公式テストセットでは、我々のシステムは39.79%(検証では42.20%)のマクロF1スコアを達成した。 本研究は,これらの手法の有効性を実証し,グラフ注意ネットワークの有効性を確認した。 私たちのソースコードは公開されています。

関連論文リスト

• Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs [2.8728982844941178]
  音声感情認識(SER)は、音声言語から感情状態を特定することに焦点を当てている。 データ信頼性を確保するために、まず利用可能なすべての書き起こしを改良する新しいアプローチを提案する。 次に、各会話をより小さな対話に分割し、これらの対話を文脈として使用し、対話内のターゲット発話の感情を予測する。
  論文  参考訳（メタデータ） (2024-10-27T04:23:34Z)
• MSP-Podcast SER Challenge 2024: L'antenne du Ventoux Multimodal Self-Supervised Learning for Speech Emotion Recognition [12.808666808009926]
  MSP-Podcast Speech Emotion Recognition (SER) Challengeの2024版を提出する。 この課題は、カテゴリー的感情認識(Categorical Emotion Recognition)と感情的属性予測(Emotional Attribute Prediction)の2つの異なるタスクに分けられる。 我々のアプローチでは、個別に訓練されたモデルと、SVM(Support Vector Machine)を使用してスコアレベルで融合したモデルのアンサンブルを採用しています。 この共同訓練手法は、感情状態を正確に分類するシステムの能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-07-08T08:52:06Z)
• Multimodal Group Emotion Recognition In-the-wild Using Privacy-Compliant Features [0.0]
  グループレベルの感情認識は、社会ロボティクス、会話エージェント、e-coaching、学習分析など、多くの分野で有用である。 本稿では,EmotiW Challenge 2023の中で,プライバシに適合したグループレベルの感情認識について検討する。
  論文  参考訳（メタデータ） (2023-12-06T08:58:11Z)
• Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition [2.223733768286313]
  音声の感情認識を改善する音声特徴強調戦略を提案する。 この戦略は、文学で使われている最先端の手法と比較される。 EMO-DBデータセットでは7つの感情のうち6つの感情のうち11.5%、RAVDESSデータセットでは8つの感情のうち7つの感情のうち13.8%が認識された。
  論文  参考訳（メタデータ） (2022-08-19T11:29:03Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• FSER: Deep Convolutional Neural Networks for Speech Emotion Recognition [0.015863809575305417]
  本研究では、4つの有効な音声データベース上で訓練された音声感情認識モデルFSERを紹介する。 各ベンチマークデータセットでは、FSERはこれまでに導入された最高のモデルよりも優れており、最先端のパフォーマンスを実現している。 FSERは、精神的および感情的な医療を改善するために使われる可能性がある。
  論文  参考訳（メタデータ） (2021-09-15T05:03:24Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)
• Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition [62.48806555665122]
  EmotiW 2019では、感情の特徴と、音声と視覚のモダリティのための機能融合戦略を主に検討している。 慎重な評価により、AFEW検証セットで65.5%、テストセットで62.48%、チャレンジで3位を獲得します。
  論文  参考訳（メタデータ） (2020-12-27T10:50:24Z)
• Visually Guided Self Supervised Learning of Speech Representations [62.23736312957182]
  音声視覚音声の文脈における視覚的モダリティによって導かれる音声表現を学習するためのフレームワークを提案する。 音声クリップに対応する静止画像をアニメーション化し、音声セグメントの実際の映像にできるだけ近いよう、生成した映像を最適化する。 我々は,感情認識のための技術成果と,音声認識のための競争結果を達成する。
  論文  参考訳（メタデータ） (2020-01-13T14:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。