論文の概要: SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets

• arxiv url: http://arxiv.org/abs/2610.19869v1
• Date: Wed, 14 Oct 2026 09:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.070487
• Title: SEA-HELM Audio: Evaluating Multilingual ASR-LLM Pipeline Performance Across SEA-HELM Subsets
• Title（参考訳）: SEA-HELMオーディオ:SEA-HELMサブセット間の多言語ASR-LLMパイプライン性能の評価
• Abstract要約: テキストベースのSEA-HELMベンチマークを拡張する多言語評価フレームワークであるSEA-HELM Audioを紹介する。 合成音声を用いて,5言語間の音声入力とテキスト入力の性能を比較した。 タミルは最大の劣化を示し、40パーセントを超えている。
• 参考スコア（独自算出の注目度）: 4.723371798098554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce SEA-HELM Audio, a Southeast Asian (SEA) multilingual evaluation framework that extends the text-based SEA-HELM benchmark to assess performance degradation in cascaded automatic speech recognition and large language model (ASR-LLM) pipelines. Using synthesized speech, we compare speech-input and text-input performance across five languages (Chinese, English, Malay, Indonesian, and Tamil) on multiple-choice reasoning and instruction-following tasks. We evaluate open-weight and commercial ASR-LLM systems using identical verifiers and quantify the speech gap as the difference between text and speech accuracy. Results show substantial degradation, with accuracy drops of 9.00 to 18.50 percentage points for multiple-choice reasoning and 20.00 to 42.86 points for instruction following. Tamil exhibits the largest degradation, exceeding 40 percentage points. Our findings highlight the limitations of text-only benchmarks in predicting voice-agent reliability and demonstrate the value of SEA-HELM Audio for evaluating multilingual voice-agent systems.
• Abstract（参考訳）: 東南アジア(SEA)の多言語評価フレームワークであるSEA-HELM Audioを導入し、テキストベースのSEA-HELMベンチマークを拡張して、ケースドの自動音声認識と大規模言語モデル(ASR-LLM)パイプラインの性能劣化を評価する。 合成音声を用いて5言語(中国語、英語、マレー語、インドネシア語、タミル語)の音声入力とテキスト入力のパフォーマンスを比較した。 同一の検証器を用いてオープンウェイトおよび商用のASR-LLMシステムを評価し,テキストと音声の精度の差として音声ギャップを定量化する。 その結果、精度は9.00から18.50ポイントに低下し、多重選択推論は20.00から42.86ポイントに低下した。 タミルは最大の劣化を示し、40パーセントを超えている。 本研究は,多言語音声エージェントシステム評価におけるSEA-HELM Audioの有用性を実証し,音声エージェントの信頼性予測におけるテキストのみのベンチマークの限界を強調した。

関連論文リスト

• SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia [20.33019395334099]
  東南アジア11言語で音声理解を評価するための,最初の大規模ベンチマークであるSEA-SpeechBenchを紹介する。 本ベンチマークでは、音声処理(自動音声認識、音声翻訳、音声質問応答)、パラ言語分析(感情、性別、年齢、話者認識)、時間的理解(時間的理解)の3つのカテゴリにまたがる9つのタスクからなる。 ネイティブSEA言語と英語の両方でマルチ言語プロンプトを実装し,音声-言語モデルとのユーザインタラクションを反映する。
  論文  参考訳（メタデータ） (2026-09-09T03:39:18Z)
• Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German [0.34797121357690153]
  我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。 We evaluate on WER and BERTScore, showed that both metrics agree on the Ordinal ranking of systems, WER inflats the size of quality gaps。 ElevenLabs Scribe v2は最低のWER(全体の13.2%)を獲得し、BERTScore(全体の0.936)に導かれる。
  論文  参考訳（メタデータ） (2026-05-18T19:50:44Z)
• MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
  多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。 この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。 本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-04-17T10:39:01Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks [14.0147704462457]
  我々は,大規模言語モデル(LLM)の性能を幅広いタスクで評価するための新しいベンチマークであるmSTEBを紹介する。 我々は,Gemini 2.0 Flash や GPT-4o (Audio) などの主要な LLM や Qwen 2 Audio や Gemma 3 27B といった最先端のオープンモデルの性能を評価する。
  論文  参考訳（メタデータ） (2025-06-10T03:15:08Z)
• Benchmarking Open-ended Audio Dialogue Understanding for Large Audio-Language Models [58.43486430996411]
  LALM(Large Audio-Language Models)は、最近、人間との直接の音声交換を可能にする音声対話機能をアンロックした。 オープンエンド音声対話理解におけるLALMの性能を評価するための音声対話理解ベンチマーク(ADU-Bench)を提案する。 ADU-Benchには、LALMの評価のための2万以上のオープンエンドオーディオダイアログが含まれている。
  論文  参考訳（メタデータ） (2024-12-06T16:34:15Z)
• SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation [52.186343500576214]
  本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。 SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。 本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-22T16:25:07Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。