Fugu-MT 論文翻訳(概要): Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings

論文の概要: Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings

arxiv url: http://arxiv.org/abs/2104.03502v1
Date: Thu, 8 Apr 2021 04:31:58 GMT
ステータス: 処理完了
システム内更新日: 2021-04-10 00:03:29.141306
Title: Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings
Title（参考訳）: wav2vec 2.0埋め込みによる音声からの感情認識
Authors: Leonardo Pepino, Pablo Riera, Luciana Ferrer
Abstract要約: 音声認識のための伝達学習手法を提案する。トレーニング前のモデルからいくつかのレイヤーの出力を、下流モデルとの共同学習可能なウェイトで組み合わせます。提案手法をIEMOCAPとRAVDESSの2つの標準感情データベース上で評価し,結果よりも優れた性能を示した。
参考スコア（独自算出の注目度）: 16.829474982595837
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Emotion recognition datasets are relatively small, making the use of the more sophisticated deep learning approaches challenging. In this work, we propose a transfer learning method for speech emotion recognition where features extracted from pre-trained wav2vec 2.0 models are modeled using simple neural networks. We propose to combine the output of several layers from the pre-trained model using trainable weights which are learned jointly with the downstream model. Further, we compare performance using two different wav2vec 2.0 models, with and without finetuning for speech recognition. We evaluate our proposed approaches on two standard emotion databases IEMOCAP and RAVDESS, showing superior performance compared to results in the literature.
Abstract（参考訳）: 感情認識データセットは比較的小さいため、より高度なディープラーニングアプローチの使用が難しい。本稿では,事前学習されたwav2vec 2.0モデルから抽出した特徴を単純なニューラルネットワークを用いてモデル化した音声感情認識のための伝達学習手法を提案する。下流モデルと共同で学習するトレーニング可能な重みを用いて,事前学習したモデルからの複数のレイヤの出力を組み合わせることを提案する。さらに,2種類のwav2vec 2.0モデルを用いた音声認識の性能比較を行った。提案手法をIEMOCAPとRAVDESSの2つの標準感情データベース上で評価し,結果よりも優れた性能を示した。

関連論文リスト

HCAM -- Hierarchical Cross Attention Model for Multi-modal Emotion Recognition [41.837538440839815]
マルチモーダル感情認識のための階層的クロスアテンションモデル(HCAM)を提案する。モデルへの入力は、学習可能なwav2vecアプローチによって処理される2つのモーダルデータと、変換器(BERT)モデルからの双方向エンコーダ表現を用いて表現されるテキストデータからなる。文脈知識と2つのモードにまたがる情報を組み込むため、音声とテキストの埋め込みはコアテンション層を用いて結合される。
論文参考訳（メタデータ） (2023-04-14T03:25:00Z)
AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
論文参考訳（メタデータ） (2023-03-29T07:24:28Z)
Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
蒸留自己監督モデルは近年、競争性能と効率性を示している。 We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-02-24T17:15:39Z)
Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文参考訳（メタデータ） (2022-02-16T00:23:42Z)
Self-supervised Learning with Random-projection Quantizer for Speech Recognition [51.24368930992091]
音声認識のためのシンプルで効果的な自己教師型学習手法を提案する。このアプローチは、離散ラベルの形で、マスキングされた音声信号を予測するモデルを学ぶ。非ストリーミングモデルを用いた自己教師付き学習を用いて、従来の作業と同じような単語エラー率を達成する。
論文参考訳（メタデータ） (2022-02-03T21:29:04Z)
STC speaker recognition systems for the NIST SRE 2021 [56.05258832139496]
本稿では,NIST 2021話者認識評価に提出されたSTCシステムについて述べる。これらのシステムは、ディープニューラルネットワークを特徴抽出器として利用する様々なサブシステムで構成されている。ビデオモダリティのために、大きな顔画像データセットに基づいて訓練されたRetinaFace顔検出器と深層ResNet顔埋め込み抽出器を用いた最良のソリューションを開発した。
論文参考訳（メタデータ） (2021-11-03T15:31:01Z)
Exploring Wav2vec 2.0 fine-tuning for improved speech emotion recognition [78.92428622630861]
wav2vec 2.0は、音声感情認識(SER)に使用できるバニラ微調整(V-FT)とタスク適応事前訓練(TAPT)の2つの基本手法を最初に提示する。 V-FTがIEMOCAPデータセットの最先端モデルより優れていることを示す。 P-TAPTと呼ばれる新しい微調整手法も導入し、TAPTの目的を変更して文脈化された感情表現を学習する。
論文参考訳（メタデータ） (2021-10-12T19:55:55Z)
Arabic Speech Emotion Recognition Employing Wav2vec2.0 and HuBERT Based on BAVED Dataset [0.0]
本稿では,アラビア語音声対話のための深層学習構築型感情認識モデルを提案する。開発モデルは、wav2vec2.0 や HuBERT といったアートオーディオ表現の状態を取り入れている。我々のモデルの実験と性能は、以前の既知の結果を克服する。
論文参考訳（メタデータ） (2021-10-09T00:58:12Z)
Multimodal Emotion Recognition with High-level Speech and Text Features [8.141157362639182]
本稿では,wav2vec 2.0音声特徴量に対する感情認識を実現するために,新しいクロス表現音声モデルを提案する。また、Transformerベースのモデルを用いて抽出したテキスト特徴から感情を認識するために、CNNベースのモデルをトレーニングする。本手法は,4クラス分類問題においてIEMOCAPデータセットを用いて評価する。
論文参考訳（メタデータ） (2021-09-29T07:08:40Z)
On Scaling Contrastive Representations for Low-Resource Speech Recognition [12.447872366013224]
計算要求のwav2vec 2.0フレームワークから,固定表現に対して最先端の音声認識器を訓練する。極端に低リソース環境では、wav2vec 2.0は前者よりも劣っている。
論文参考訳（メタデータ） (2021-02-01T13:58:02Z)
Recognizing More Emotions with Less Data Using Self-supervised Transfer Learning [0.0]
本稿では,音声認識のための新しい伝達学習手法を提案する。感情のクラス毎の125のサンプルでは、8倍のデータでトレーニングされた強いベースラインよりも高い精度を達成できたのです。
論文参考訳（メタデータ） (2020-11-11T06:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。