Fugu-MT 論文翻訳(概要): SER Evals: In-domain and Out-of-domain Benchmarking for Speech Emotion Recognition

論文の概要: SER Evals: In-domain and Out-of-domain Benchmarking for Speech Emotion Recognition

arxiv url: http://arxiv.org/abs/2408.07851v1
Date: Wed, 14 Aug 2024 23:33:10 GMT
ステータス: 処理完了
システム内更新日: 2024-08-16 15:28:57.415578
Title: SER Evals: In-domain and Out-of-domain Benchmarking for Speech Emotion Recognition
Title（参考訳）: SER方程式:音声感情認識のためのドメイン内およびドメイン外ベンチマーク
Authors: Mohamed Osman, Daniel Z. Kaplan, Tamer Nadeem,
Abstract要約: 音声感情認識(SER)は、強力な自己教師付き学習(SSL)モデルの出現に大きく貢献している。本稿では,最先端SERモデルの堅牢性と適応性を評価するための大規模ベンチマークを提案する。主に音声認識用に設計されたWhisperモデルは,言語横断SERにおいて,専用SSLモデルよりも優れていることがわかった。
参考スコア（独自算出の注目度）: 3.4355593397388597
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speech emotion recognition (SER) has made significant strides with the advent of powerful self-supervised learning (SSL) models. However, the generalization of these models to diverse languages and emotional expressions remains a challenge. We propose a large-scale benchmark to evaluate the robustness and adaptability of state-of-the-art SER models in both in-domain and out-of-domain settings. Our benchmark includes a diverse set of multilingual datasets, focusing on less commonly used corpora to assess generalization to new data. We employ logit adjustment to account for varying class distributions and establish a single dataset cluster for systematic evaluation. Surprisingly, we find that the Whisper model, primarily designed for automatic speech recognition, outperforms dedicated SSL models in cross-lingual SER. Our results highlight the need for more robust and generalizable SER models, and our benchmark serves as a valuable resource to drive future research in this direction.
Abstract（参考訳）: 音声感情認識(SER)は、強力な自己教師付き学習(SSL)モデルの出現に大きく貢献している。しかし、これらのモデルを多様な言語や感情表現に一般化することは依然として課題である。ドメイン内およびドメイン外設定の両方において、最先端SERモデルの堅牢性と適応性を評価するための大規模ベンチマークを提案する。我々のベンチマークには多言語データセットの多種多様なセットが含まれており、新しいデータへの一般化を評価するためにあまり使われていないコーパスに焦点を当てている。クラス分布の変動を考慮したロジット調整と,システム評価のための単一データセットクラスタの構築を行う。驚いたことに、Whisperモデルは、主に自動音声認識用に設計されており、言語横断SERにおける専用SSLモデルよりも優れています。我々の結果は、より堅牢で一般化可能なSERモデルの必要性を浮き彫りにし、我々のベンチマークは将来の研究をこの方向に進めるための貴重なリソースとして役立ちます。

関連論文リスト

Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文参考訳（メタデータ） (2024-11-04T06:07:53Z)
Pushing the Limits of Vision-Language Models in Remote Sensing without Human Annotations [5.065947993017157]
本研究では、画像復号化機械学習モデルを用いて、視覚言語データセットをキュレートする手法を提案する。約960万の視覚言語対のデータセットをVHR画像で収集しました。結果として得られたモデルは、公開可能なビジョン言語データセットを活用できないものよりも優れていた。
論文参考訳（メタデータ） (2024-09-11T06:36:08Z)
ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文参考訳（メタデータ） (2024-06-12T21:01:26Z)
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
論文参考訳（メタデータ） (2024-05-23T04:27:11Z)
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition [19.635428830237842]
大規模ASRモデルの性能は,より小さな領域に対してどのように近似できるかを検討する。本研究では,ASRモデルの頑健性を高めるために,連続学習に経験リプレイを適用した。
論文参考訳（メタデータ） (2023-07-14T11:20:22Z)
A Reference-less Quality Metric for Automatic Speech Recognition via Contrastive-Learning of a Multi-Language Model with Self-Supervision [0.20999222360659603]
本研究は,音声データセット上での異なるASRモデルの性能を比較するための基準のない品質指標を提案する。 ASR仮説の質を推定するために、事前訓練された言語モデル(LM)を自己教師付き学習方式でコントラスト学習により微調整する。提案した基準レス計量は、すべての実験において最先端の多言語LMからWERスコアとそれらのランクとの相関をはるかに高める。
論文参考訳（メタデータ） (2023-06-21T21:33:39Z)
Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
論文参考訳（メタデータ） (2023-06-02T23:04:19Z)
An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition [98.70304981174748]
本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
論文参考訳（メタデータ） (2021-10-09T15:06:09Z)
RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文参考訳（メタデータ） (2020-12-29T08:58:49Z)
Rethinking Evaluation in ASR: Are Our Models Robust Enough? [30.114009549372923]
一般に、残響と付加音の増補により、ドメイン間の一般化性能が向上することを示す。ベンチマークを十分に使うと、平均単語誤り率(WER)のパフォーマンスが実世界のノイズの多いデータのパフォーマンスに良いプロキシを提供することを示した。
論文参考訳（メタデータ） (2020-10-22T14:01:32Z)
Self-Attention Networks for Intent Detection [0.9023847175654603]
本稿では,自己注意ネットワークとBi-LSTMに基づく新たな意図検出システムを提案する。提案手法は,変圧器モデルと深層平均化ネットワークベースユニバーサル文エンコーダを用いて改善を示す。我々は,Snips,Smart Speaker,Smart Lights,およびATISデータセットを異なる評価指標で評価する。
論文参考訳（メタデータ） (2020-06-28T12:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。