論文の概要: Speech Emotion Recognition with Distilled Prosodic and Linguistic Affect Representations

• arxiv url: http://arxiv.org/abs/2309.04849v1
• Date: Sat, 9 Sep 2023 17:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 15:59:00.260778
• Title: Speech Emotion Recognition with Distilled Prosodic and Linguistic Affect Representations
• Title（参考訳）: 拡張韻律と言語的感情表現を用いた音声感情認識
• Authors: Debaditya Shome, Ali Etemad
• Abstract要約: EmoDistillは、音声から強い言語的および韻律的な感情表現を学ぶための新しいフレームワークである。 本手法は,事前学習した韻律教師と言語教師のペアから,埋め込みレベルとロジットレベルの両方の情報を抽出する。 IEMOCAPベンチマーク実験により,本手法は,他の一様・多モード手法よりもかなり優れた性能を示した。
• 参考スコア（独自算出の注目度）: 27.75143621836449
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose EmoDistill, a novel speech emotion recognition (SER) framework that leverages cross-modal knowledge distillation during training to learn strong linguistic and prosodic representations of emotion from speech. During inference, our method only uses a stream of speech signals to perform unimodal SER thus reducing computation overhead and avoiding run-time transcription and prosodic feature extraction errors. During training, our method distills information at both embedding and logit levels from a pair of pre-trained Prosodic and Linguistic teachers that are fine-tuned for SER. Experiments on the IEMOCAP benchmark demonstrate that our method outperforms other unimodal and multimodal techniques by a considerable margin, and achieves state-of-the-art performance of 77.49% unweighted accuracy and 78.91% weighted accuracy. Detailed ablation studies demonstrate the impact of each component of our method.
• Abstract（参考訳）: 本研究では,音声から感情の強固な言語表現と韻律表現を学ぶために,訓練中のクロスモーダル知識蒸留を利用する新しい音声感情認識(ser)フレームワークであるエモジスティルを提案する。 提案手法では,音声信号のストリームのみを用いて一斉SERを実行することで,計算オーバーヘッドを低減し,実行時の書き起こしや韻律的特徴抽出エラーを回避する。 学習中,本手法は,SER向けに微調整された1組の韻律教師と言語教師から,埋め込みレベルとロジットレベルの両方の情報を抽出する。 iemocapベンチマークにおける実験は、この手法が他のユニモーダルおよびマルチモーダル技術よりもかなり優れており、77.49%の非重み付け精度と78.91%の重み付け精度で最先端の性能を達成していることを示している。 詳細なアブレーション研究は,各成分が与える影響を実証する。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data [0.0]
  本稿では,個別音声単位のレベルで音声から音声への感情翻訳を行う手法を提案する。 この埋め込みは、対象言語における音声単位のピッチと持続時間を予測するのに有効であることを示す。 我々は、英語とフランス語の音声信号に対する我々のアプローチを評価し、ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-29T08:06:54Z)
• A New Benchmark of Aphasia Speech Recognition and Detection Based on E-Branchformer and Multi-task Learning [29.916793641951507]
  本稿では,最新の音声認識技術を用いた失語症音声認識のための新しいベンチマークを提案する。 CTC/Attentionアーキテクチャに基づく2つのマルチタスク学習手法を導入し、両方のタスクを同時に実行する。 当システムでは,中等度失語症患者に対して,最先端の話者レベル検出精度(97.3%)と相対的なWER低下率(1%)を達成している。
  論文  参考訳（メタデータ） (2023-05-19T15:10:36Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition [118.73025093045652]
  マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。 従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。 提案するMEMOBERTは感情認識性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-27T09:57:00Z)
• Injecting Text in Self-Supervised Speech Pretraining [33.676479965610774]
  我々は,2つの異なるモーダル(音声とテキスト)から事前学習中の表現を共同学習することを提案する。 tts4pretrainは自己スーパービジョンにおけるコントラスト学習のパワーを補完する。 We demonstrate Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task。
  論文  参考訳（メタデータ） (2021-08-27T11:36:40Z)
• An Attribute-Aligned Strategy for Learning Speech Representation [57.891727280493015]
  属性選択機構によってこれらの問題に柔軟に対処できる音声表現を導出する属性整合学習戦略を提案する。 具体的には、音声表現を属性依存ノードに分解する層式表現可変オートエンコーダ(LR-VAE)を提案する。 提案手法は,IDのないSER上での競合性能と,無感情SV上でのより良い性能を実現する。
  論文  参考訳（メタデータ） (2021-06-05T06:19:14Z)
• UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data [54.733889961024445]
  ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。 公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
  論文  参考訳（メタデータ） (2021-01-19T12:53:43Z)
• Recognizing More Emotions with Less Data Using Self-supervised Transfer Learning [0.0]
  本稿では,音声認識のための新しい伝達学習手法を提案する。 感情のクラス毎の125のサンプルでは、8倍のデータでトレーニングされた強いベースラインよりも高い精度を達成できたのです。
  論文  参考訳（メタデータ） (2020-11-11T06:18:31Z)
• An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
  音声強調と音声分離は関連する2つの課題である。 伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。 ディープラーニングは強力なパフォーマンスを達成するために利用されています。
  論文  参考訳（メタデータ） (2020-08-21T17:24:09Z)
• A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition [0.0]
  本稿では,時間遅延ニューラルネットワークアーキテクチャに基づく音声感情認識における伝達学習手法を示す。 5倍のクロスバリデーションを用いて,最先端技術と比較して高い精度を実現する。
  論文  参考訳（メタデータ） (2020-08-06T20:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。