論文の概要: URO-Bench: Towards Comprehensive Evaluation for End-to-End Spoken Dialogue Models

• arxiv url: http://arxiv.org/abs/2502.17810v3
• Date: Sun, 10 Aug 2025 12:34:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 16:55:52.052428
• Title: URO-Bench: Towards Comprehensive Evaluation for End-to-End Spoken Dialogue Models
• Title（参考訳）: URO-Bench: エンド・ツー・エンド音声対話モデルの総合評価に向けて
• Authors: Ruiqi Yan, Xiquan Li, Wenxi Chen, Zhikang Niu, Chen Yang, Ziyang Ma, Kai Yu, Xie Chen,
• Abstract要約: 音声合成(S2S)シナリオの広範なベンチマークであるURO-Benchを提案する。 URO-BenchはS2Sベンチマークで、多言語主義、多ラウンド対話、パラ言語学の評価をカバーしている。 我々のベンチマークは、基本トラックとプロトラックの2つの難易度に分けられ、それぞれが20のテストセットで構成されている。
• 参考スコア（独自算出の注目度）: 8.882948576463244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have driven significant progress in end-to-end spoken dialogue models (SDMs). In contrast to text-based LLMs, the evaluation framework for SDMs should encompass both cognitive dimensions (e.g., logical reasoning, knowledge) and speech-related aspects (e.g., paralinguistic cues, audio quality). However, there is still a lack of comprehensive evaluations for SDMs in speech-to-speech (S2S) scenarios. To address this gap, we propose URO-Bench, an extensive benchmark for SDMs. Notably, URO-Bench is the first S2S benchmark that covers evaluations about multilingualism, multi-round dialogues, and paralinguistics. Our benchmark is divided into two difficulty levels: basic track and pro track, each comprising 20 test sets, evaluating the spoken dialogue model's abilities in Understanding, Reasoning, and Oral conversation. Evaluations on our proposed benchmark reveal that current open-source SDMs perform rather well in daily QA tasks, but lag behind their backbone LLMs in terms of instruction-following ability and also suffer from catastrophic forgetting. Their performance in advanced evaluations of paralinguistic information and audio understanding remains subpar, highlighting the need for further research in this direction. We hope that URO-Bench can facilitate the development of spoken dialogue models by providing a multifaceted evaluation of existing models and helping to track progress in this area.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、エンドツーエンドの音声対話モデル(SDM)に大きな進歩をもたらした。 テキストベースのLLMとは対照的に、SDMの評価フレームワークは、認知的次元(例えば、論理的推論、知識)と音声関連側面(例えば、パラ言語的手がかり、音声品質)の両方を包含する必要がある。 しかし、音声合成(S2S)のシナリオでは、SDMの総合的な評価がまだ不十分である。 このギャップに対処するため、我々はSDMの広範なベンチマークであるURO-Benchを提案する。 特に、URO-Benchは、多言語主義、多ラウンド対話、およびパラ言語学の評価をカバーした最初のS2Sベンチマークである。 本ベンチマークは,20個のテストセットからなる基本トラックとプロトラックの2つの難易度に分類し,音声対話モデルの理解,推論,口頭会話における能力を評価する。 提案したベンチマークの結果から,現在のオープンソースSDMは日々のQAタスクでは良好に機能するが,命令追従能力の面では背骨LLMに遅れがみられ,しかも破滅的な忘れ込みに悩まされていることが明らかとなった。 パラ言語情報と音声理解の高度な評価におけるそれらの性能は、この方向へのさらなる研究の必要性を浮き彫りにしたままである。 URO-Benchは,既存のモデルの多面的評価を提供することで,音声対話モデルの開発を促進できることを期待する。

関連論文リスト

• Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
  本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。 近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。 以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-25T08:37:55Z)
• Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
  FullDuplexBenchは、重要な会話動作を体系的に評価するベンチマークである。 音声対話のモデリングを推進し、よりインタラクティブで自然な対話システムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2025-03-06T18:59:16Z)
• Audio Large Language Models Can Be Descriptive Speech Quality Evaluators [46.765203628127345]
  本稿では,人間格付けから生成した最初の自然言語に基づく音声評価コーパスについて紹介する。 このコーパスは、複数の次元にわたる詳細な分析を提供し、品質劣化の原因を特定する。 生音声から関連情報を抽出するために,LLM蒸留(ALLD)を用いたアライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T22:47:51Z)
• VoxEval: Benchmarking the Knowledge Understanding Capabilities of End-to-End Spoken Language Models [32.086847480051084]
  本稿では、純粋音声対話による知識理解を評価する新しいSpeechQAベンチマークであるVoxEvalを提案する。 本ベンチマーク1は,入力と出力の両方の音声形式を維持し,2)多様な入力音声条件のモデルロバスト性を評価し,3)音声形式における数学的推論のような複雑なタスクの評価を先駆する。
  論文  参考訳（メタデータ） (2025-01-09T04:30:12Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)
• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation [7.767020408405403]
  本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。 実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
  論文  参考訳（メタデータ） (2023-08-31T15:19:28Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [72.42049370297849]
  SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
  論文  参考訳（メタデータ） (2023-05-22T13:47:51Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。