論文の概要: VoxEval: Benchmarking the Knowledge Understanding Capabilities of End-to-End Spoken Language Models

• arxiv url: http://arxiv.org/abs/2501.04962v2
• Date: Mon, 20 Jan 2025 10:38:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:31.239495
• Title: VoxEval: Benchmarking the Knowledge Understanding Capabilities of End-to-End Spoken Language Models
• Title（参考訳）: VoxEval: エンドツーエンド言語モデルの知識理解能力のベンチマーク
• Authors: Wenqian Cui, Xiaoqi Jiao, Ziqiao Meng, Irwin King,
• Abstract要約: 我々は、純粋に音声に基づく対話を通して知識理解を評価するために設計された、新しい音声質問応答ベンチマークであるVoxEvalを紹介する。 既存のAudioQAベンチマークとは異なり、VoxEvalは質問と回答の両方の音声フォーマットを維持し、様々なオーディオ条件のモデルロバスト性を評価し、音声形式の数学的問題解決のような挑戦的な領域の評価を開拓している。
• 参考スコア（独自算出の注目度）: 32.086847480051084
• License:
• Abstract: With the growing demand for developing speech-based interaction models, end-to-end Spoken Language Models (SLMs) have emerged as a promising solution. When engaging in conversations with humans, it is essential for these models to comprehend a wide range of world knowledge. In this paper, we introduce VoxEval, a novel speech question-answering benchmark specifically designed to assess SLMs' knowledge understanding through purely speech-based interactions. Unlike existing AudioQA benchmarks, VoxEval maintains speech format for both questions and answers, evaluates model robustness across diverse audio conditions (varying timbres, audio qualities, and speaking styles), and pioneers the assessment of challenging domains like mathematical problem-solving in spoken format. Our comprehensive evaluation of recent SLMs using VoxEval reveals significant performance limitations in current models, highlighting crucial areas for future improvements. VoxEval dataset is available at: https://github.com/dreamtheater123/VoxEval
• Abstract（参考訳）: 音声に基づく対話モデルの開発に対する需要が高まり,SLM(End-to-end Spoken Language Models)が有望なソリューションとして登場した。 人間との会話を行う際には、これらのモデルが幅広い世界の知識を理解することが不可欠である。 本稿では,SLMの知識理解を純粋に音声に基づくインタラクションを通じて評価する新しい音声質問応答ベンチマークであるVoxEvalを紹介する。 既存のAudioQAベンチマークとは異なり、VoxEvalは質問と回答の両方の音声フォーマットを維持し、様々な音質(様々な音質、音声品質、話し方)にわたるモデルロバスト性を評価し、音声形式の数学的問題解決のような挑戦的な領域の評価を開拓している。 VoxEvalを用いた最近のSLMの包括的評価では、現行モデルにおける大幅な性能制限が示され、今後の改善に向けた重要な領域が浮かび上がっている。 VoxEvalデータセットは、https://github.com/dreamtheater123/VoxEvalで利用可能である。

関連論文リスト

• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• Roadmap towards Superhuman Speech Understanding using Large Language Models [60.57947401837938]
  大規模言語モデル(LLM)は、音声データと音声データを統合したものである。 GPT-4oのような最近の進歩は、エンドツーエンドのLLMの可能性を強調している。 本稿では,基本自動音声認識(ASR)から高度な超人モデルまで,5段階のロードマップを提案する。
  論文  参考訳（メタデータ） (2024-10-17T06:44:06Z)
• Recent Advances in Speech Language Models: A Survey [45.968078636811356]
  音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。 本稿では,近年のSpeechLM構築手法について概観する。
  論文  参考訳（メタデータ） (2024-10-01T21:48:12Z)
• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• A Suite for Acoustic Language Model Evaluation [20.802090523583196]
  SALMonは、背景雑音、感情、話者識別、室内インパルス応答を含む新しい評価スイートである。 SALMon 上で複数の言語モデルを評価し,評価手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2024-09-11T17:34:52Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)
• Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation [46.93969003104427]
  本稿では,広範な音声テキストLLMフレームワークである統一音声対話モデル(USDM)を紹介する。 USDMは、与えられた入力音声に関連する自然な韻律的特徴を持つコヒーレントな音声応答を生成するように設計されている。 提案手法は,従来のベースラインとカスケードベースラインを超越した自然な音声応答を効果的に生成する。
  論文  参考訳（メタデータ） (2024-02-08T14:35:09Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots [47.40380290055558]
  話者変化情報を認識させる新しいモデルとして,話者認識BERT (SA-BERT) を提案する。 絡み合った対話に対処するために,話者認識型アンタングル化戦略を提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。