Fugu-MT 論文翻訳(概要): ASR Benchmarking: Need for a More Representative Conversational Dataset

論文の概要: ASR Benchmarking: Need for a More Representative Conversational Dataset

arxiv url: http://arxiv.org/abs/2409.12042v1
Date: Wed, 18 Sep 2024 15:03:04 GMT
ステータス: 処理完了
システム内更新日: 2024-09-19 17:10:23.735368
Title: ASR Benchmarking: Need for a More Representative Conversational Dataset
Title（参考訳）: ASRベンチマーク: より代表的な会話データセットの必要性
Authors: Gaurav Maheshwari, Dmitry Ivanov, Théo Johannet, Kevin El Haddad,
Abstract要約: 本研究では、大人同士の非構造的な会話からなる、TalkBankから派生した多言語会話データセットを提案する。その結果,会話環境下でのテストでは,様々な最先端のASRモデルに対して顕著な性能低下がみられた。
参考スコア（独自算出の注目度）: 3.017953715883516
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Automatic Speech Recognition (ASR) systems have achieved remarkable performance on widely used benchmarks such as LibriSpeech and Fleurs. However, these benchmarks do not adequately reflect the complexities of real-world conversational environments, where speech is often unstructured and contains disfluencies such as pauses, interruptions, and diverse accents. In this study, we introduce a multilingual conversational dataset, derived from TalkBank, consisting of unstructured phone conversation between adults. Our results show a significant performance drop across various state-of-the-art ASR models when tested in conversational settings. Furthermore, we observe a correlation between Word Error Rate and the presence of speech disfluencies, highlighting the critical need for more realistic, conversational ASR benchmarks.
Abstract（参考訳）: 自動音声認識(ASR)システムは、LibriSpeechやFleursといった広く使われているベンチマークで顕著な性能を実現している。しかし、これらのベンチマークは実際の会話環境の複雑さを十分に反映していない。本研究では、大人同士の非構造化音声会話からなるTalkBankから派生した多言語会話データセットを提案する。その結果,会話環境下でのテストでは,様々な最先端のASRモデルに対して顕著な性能低下がみられた。さらに,単語誤り率と発話不一致の有無の相関を観察し,より現実的な会話型ASRベンチマークの必要性を強調した。

関連論文リスト

Enhancing Dialogue Speech Recognition with Robust Contextual Awareness via Noise Representation Learning [6.363223418619587]
本研究では,CNRL(Context Noise Representation Learning)を導入し,雑音に対する堅牢性を向上し,対話音声認識の精度を向上する。本手法は,音声対話の評価に基づいて,ベースラインよりも優れた結果を示す。
論文参考訳（メタデータ） (2024-08-12T10:21:09Z)
Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
論文参考訳（メタデータ） (2024-01-04T14:36:38Z)
SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [72.42049370297849]
SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
論文参考訳（メタデータ） (2023-05-22T13:47:51Z)
SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文参考訳（メタデータ） (2022-12-20T18:39:59Z)
ASR4REAL: An extended benchmark for speech models [19.348785785921446]
モデルにおけるバイアスや弱点の発見を目的とした,実生活条件に適合するベンチマークのセットを紹介する。その結果,近年のモデルでは男女差がみられていないものの,アクセントによる重要なパフォーマンスの相違が見られることが判明した。テストされたすべてのモデルは、会話音声でのテストでは、強いパフォーマンス低下を示す。
論文参考訳（メタデータ） (2021-10-16T14:34:25Z)
"How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
本研究は、音声タスク指向会話における新しいベンチマークを示す。マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
論文参考訳（メタデータ） (2021-09-28T04:51:04Z)
Accented Speech Recognition: A Survey [0.0]
本稿では,アクセント音声認識に対する現在有望なアプローチに関する調査を行う。その結果、アクセント間のASRパフォーマンスのバイアスは、ASRのユーザとプロバイダの両方にコストがかかる。
論文参考訳（メタデータ） (2021-04-21T20:21:06Z)
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering [63.72278693825945]
音声対話型質問応答 (SCQA) は複雑な対話の流れをモデル化するために機械を必要とする。本稿では,新しい文脈型注意型蒸留手法CADNetを提案する。 Spoken-CoQAデータセット上で広範な実験を行い、本手法が優れた性能を発揮することを示す。
論文参考訳（メタデータ） (2020-10-21T15:17:18Z)
WER we are and WER we think we are [11.819335591315316]
我々は、ベンチマークデータセット上の最新の自動音声認識(ASR)システムによって達成された、非常に低い単語誤り率(WER)に関する最近の報告に対する懐疑論を表現している。我々は、実生活における自然会話とHUB'05公開ベンチマークのデータセット上で、最先端の商用ASRシステム3つを比較した。我々は、堅牢なASRシステムのトレーニングとテストのための高品質なアノテーションを備えた実生活のマルチドメインデータセットの作成を支援する一連のガイドラインを定式化する。
論文参考訳（メタデータ） (2020-10-07T14:20:31Z)
Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文参考訳（メタデータ） (2020-05-01T20:01:39Z)
Dialogue-Based Relation Extraction [53.2896545819799]
本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
論文参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。