論文の概要: SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia
- arxiv url: http://arxiv.org/abs/2609.09672v1
- Date: Wed, 09 Sep 2026 03:39:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.889371
- Title: SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia
- Title（参考訳）: SEA-SpeechBench:東南アジアにおける音声理解のための大規模マルチタスクベンチマーク
- Abstract要約: 東南アジア11言語で音声理解を評価するための,最初の大規模ベンチマークであるSEA-SpeechBenchを紹介する。
本ベンチマークでは、音声処理(自動音声認識、音声翻訳、音声質問応答)、パラ言語分析(感情、性別、年齢、話者認識)、時間的理解(時間的理解)の3つのカテゴリにまたがる9つのタスクからなる。
ネイティブSEA言語と英語の両方でマルチ言語プロンプトを実装し,音声-言語モデルとのユーザインタラクションを反映する。
- 参考スコア（独自算出の注目度）: 20.33019395334099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of audio and multimodal large language models has unlocked transformative speech understanding capabilities, yet evaluation frameworks remain predominantly English-centric, leaving Southeast Asian (SEA) languages critically underrepresented. We introduce SEA-SpeechBench, to the best of our knowledge, the first large-scale multitask benchmark that evaluates speech understanding in 11 SEA languages through 97,194 samples across 99 evaluation sets and 597 hours of curated audio data. Our benchmark comprises 9 diverse tasks across 3 categories: speech processing (automatic speech recognition, speech translation, spoken question answering), paralinguistic analysis (emotion, gender, age, speaker recognition), and temporal understanding, a novel dimension featuring timestamped content queries and temporal localization within extended audio sequences up to 3 minutes. We implement multilingual prompting in both native SEA languages and English to reflect user interactions with audio-language models. Evaluation of leading open-source and proprietary systems reveals marked performance gaps. Across all models, performance remains underwhelming on temporal understanding, emotion recognition, and speech translation. Prompting in low-resource languages such as Burmese and Tamil lags behind English by up to 41 percentage points. Our findings expose critical model limitations and underscore the need for inclusive model development. The SEA-SpeechBench benchmark is available at https://zwenyu.github.io/SEA-SpeechBench/.
- Abstract（参考訳）: 音声およびマルチモーダルな大規模言語モデルの急速な進歩は、トランスフォーメーション音声理解能力の開放を招いているが、評価フレームワークは主に英語中心であり、東南アジア(SEA)言語は批判的に不足している。
我々はSEA-SpeechBenchについて,99個の評価セットと597時間のオーディオデータからなる97,194個のサンプルを用いて,11個のSEA言語における音声理解を評価する,最初の大規模マルチタスクベンチマークである。
本ベンチマークでは、音声処理(自動音声認識、音声翻訳、音声質問応答)、パラ言語分析(感情、性別、年齢、話者認識)、時間的理解(時間的理解)の3つのカテゴリにまたがる9つのタスクからなる。
ネイティブSEA言語と英語の両方でマルチ言語プロンプトを実装し,音声-言語モデルとのユーザインタラクションを反映する。
主要なオープンソースおよびプロプライエタリシステムの評価は、顕著なパフォーマンスギャップを明らかにしている。
すべてのモデルにおいて、パフォーマンスは時間的理解、感情認識、音声翻訳に圧倒されている。
ビルマ語やタミル語などの低リソース言語では、英語が最大41パーセント遅れている。
以上の結果から,重要なモデル限界が明らかとなり,包括的モデル開発の必要性が浮き彫りになった。
SEA-SpeechBenchベンチマークはhttps://zwenyu.github.io/SEA-SpeechBench/で公開されている。
関連論文リスト
- ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions [66.93528077633728]
ESCUCHAは、既存のデータセットからではなく、音声と組み合わせた1,000の人為的な質問からなる。
このベンチマークは、9つの知覚的カテゴリーと10の推論カテゴリにまたがる推論を強調し、複数のスペイン語アクセントと非ノルマ的スピーチを通して言語多様性を捉えている。
いくつかの最先端のマルチモーダルおよび音声モデルのベンチマークでは、訓練された人間と比較して、かなりのパフォーマンスのギャップが示される。
論文 参考訳（メタデータ） (2026-07-20T10:59:15Z) - PolySpeech-100: A Large-Scale Benchmark for Speech Understanding Across 100+ Languages and Dialects [29.32197370490759]
PolySpeech-100は110の言語変種にわたるネイティブレベルの音声理解を評価するために設計された大規模ベンチマークである。
我々は、指示駆動合成音声によるゴールドスタンダードな人間の録音を増強する、新しいハイブリッド構築パイプラインを採用している。
論文 参考訳（メタデータ） (2026-05-31T05:13:32Z) - KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs [7.195547595036643]
本稿では,SpeechLM評価のための2つのヒューマンエージェント・ベンチマーク・コンストラクション・フレームワークを提案する。
ソース言語SpkenQAベンチマークをターゲット言語SpkenQAベンチマークに、ターゲット言語ASRコーパスをオーディオ理解ベンチマークに変換する。
これらのフレームワークを用いて,韓国語音声理解のためのKVoiceBenchとKOpenAudioBenchと韓国語音声理解のためのKMMAUの3つのベンチマークを構築し,公開する。
論文 参考訳（メタデータ） (2026-05-27T05:19:38Z) - MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。
この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。
本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2026-04-17T10:39:01Z) - SeaLLMs-Audio: Large Audio-Language Models for Southeast Asia [40.53123362174684]
東南アジアの複数の言語に対応する最初の大規模音声言語モデル(LALM)であるSeaLLMs-Audioを紹介する。
SeaLLMs-Audioは、様々なオーディオ中心のタスクにまたがって、きめ細かい音声理解と音声ベースのインタラクションに強いパフォーマンスを示す。
音声キャプション、自動音声認識、音声からテキストへの翻訳、音声感情認識、音声質問回答、音声要約など、幅広いタスクをサポートする。
論文 参考訳（メタデータ） (2025-11-03T15:32:58Z) - MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark [42.58439306999647]
MMSUは、47の異なるタスクにまたがって、5000の厳密にキュレートされたオーディオクエスト・アンサートレットで構成されている。
我々は、音声学、韻律、修辞学、構文学、意味論、パラ言語学を含む言語理論のベンチマークを定めている。
MMSUは、音声言語理解の包括的評価のための新しい標準を確立する。
論文 参考訳（メタデータ） (2025-06-05T09:09:36Z) - Long-Form Speech Generation with Spoken Language Models [64.29591880693468]
テキストなしの音声言語モデルは、数十秒を超える可読な音声を生成するのに苦労する。
我々は、長音の音声から学習し、サンプルする最初の音声言語モデルであるSpeechSSMを導出する。
SpeechSSMは線形時間列モデリングの最近の進歩を活用し、コヒーレンスと効率性において現在のトランスフォーマー音声LMを大幅に上回っている。
論文 参考訳（メタデータ） (2024-12-24T18:56:46Z) - Benchmarking Open-ended Audio Dialogue Understanding for Large Audio-Language Models [58.43486430996411]
LALM(Large Audio-Language Models)は、最近、人間との直接の音声交換を可能にする音声対話機能をアンロックした。
オープンエンド音声対話理解におけるLALMの性能を評価するための音声対話理解ベンチマーク(ADU-Bench)を提案する。
ADU-Benchには、LALMの評価のための2万以上のオープンエンドオーディオダイアログが含まれている。
論文 参考訳（メタデータ） (2024-12-06T16:34:15Z) - SeamlessM4T: Massively Multilingual & Multimodal Machine Translation [90.71078166159295]
音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。
我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。
FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。
論文 参考訳（メタデータ） (2023-08-22T17:44:18Z) - AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳（メタデータ） (2023-06-22T14:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。