論文の概要: Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition

• arxiv url: http://arxiv.org/abs/2308.08713v1
• Date: Thu, 17 Aug 2023 00:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 18:35:38.798653
• Title: Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
• Title（参考訳）: Decoding Emotions: 音声認識のための音声モデルに関する総合的多言語研究
• Authors: Anant Singh and Akshat Gupta
• Abstract要約: 本稿では、8つの音声表現モデルと6つの異なる言語を用いた音声感情認識のための総合的ベンチマークを示す。 音声モデルの1つの最適層から得られる特徴を用いることで、7つのデータセットの平均誤差率を32%削減できることがわかった。 以上の結果から,中間層が感情認識において最も重要な感情情報を捉えていることが示唆された。
• 参考スコア（独自算出の注目度）: 3.4111723103928173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in transformer-based speech representation models have greatly transformed speech processing. However, there has been limited research conducted on evaluating these models for speech emotion recognition (SER) across multiple languages and examining their internal representations. This article addresses these gaps by presenting a comprehensive benchmark for SER with eight speech representation models and six different languages. We conducted probing experiments to gain insights into inner workings of these models for SER. We find that using features from a single optimal layer of a speech model reduces the error rate by 32\% on average across seven datasets when compared to systems where features from all layers of speech models are used. We also achieve state-of-the-art results for German and Persian languages. Our probing results indicate that the middle layers of speech models capture the most important emotional information for speech emotion recognition.
• Abstract（参考訳）: 最近の変圧器に基づく音声表現モデルの進歩は、音声処理を大きく変えた。 しかし、複数の言語にまたがる音声感情認識(SER)モデルの評価や、その内部表現についての研究は限られている。 本稿では、8つの音声表現モデルと6つの異なる言語を持つSERの総合ベンチマークを提示することにより、これらのギャップに対処する。 我々は,これらのモデルの内部動作の洞察を得るための探索実験を行った。 音声モデルの1つの最適層からの特徴を用いることで、7つのデータセットで平均32\%の誤り率を削減できることが、音声モデルの全ての層から特徴が使用されるシステムと比較すると判明した。 ドイツ語とペルシア語の最先端の成果も達成しています。 調査の結果,音声モデルの中間層は,感情認識において最も重要な感情情報を捉えていることがわかった。

関連論文リスト

• Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities [9.473861847584843]
  本稿では,MMS(Massively Multilingual Speech)とWhisper(Whisper)という,最先端の音声認識モデルについて述べる。 インドネシア語音声データを様々な変動群で書き起こすモデルの予測能力について検討する。
  論文  参考訳（メタデータ） (2024-10-11T14:07:07Z)
• Adapting WavLM for Speech Emotion Recognition [0.0]
  MSP Podcast Corpus における音声感情認識タスクのための WavLM Large モデルの微調整戦略について検討する。 次に、この結果をまとめ、2024年の音声感情認識チャレンジへの提出に使った最終モデルについて述べる。
  論文  参考訳（メタデータ） (2024-05-07T16:53:42Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• Multilingual Speech Emotion Recognition With Multi-Gating Mechanism and Neural Architecture Search [15.51730246937201]
  SERは、音声をHappy、Angry、Fear、Disgust、Neutralなどの感情カテゴリーに分類する。 本稿では,複数の事前学習された音声モデルから感情情報を抽出する言語特化モデルを提案する。 我々のモデルは、ドイツ語では3%、フランス語では14.3%の精度で最先端の精度を上げる。
  論文  参考訳（メタデータ） (2022-10-31T19:55:33Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• Multimodal Emotion Recognition with High-level Speech and Text Features [8.141157362639182]
  本稿では,wav2vec 2.0音声特徴量に対する感情認識を実現するために,新しいクロス表現音声モデルを提案する。 また、Transformerベースのモデルを用いて抽出したテキスト特徴から感情を認識するために、CNNベースのモデルをトレーニングする。 本手法は,4クラス分類問題においてIEMOCAPデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2021-09-29T07:08:40Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。