論文の概要: SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning

• arxiv url: http://arxiv.org/abs/2609.22586v1
• Date: Fri, 18 Sep 2026 21:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.880488
• Title: SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning
• Title（参考訳）: セアベド:音声推論評価のための東南アジアベンチマーク
• Abstract要約: 東南アジアの音声における言語および音声推論モデルのベンチマークを目的とした,音声第一質問応答データセットSEABEDを紹介する。 SEABEDは6つのオーディオ推論タスクからなるスイートで構成されており、実際のSEA音声コーパスから構築され、5,404対の質問応答対が生成される。 最先端のGemini 3.5 Flashでさえ、平均精度は50.3%しか達成していない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern audio-language models are no longer judged only on what words they can transcribe, but on whether they can reason over what they hear: recovering meaning that lives in tone and prosody, telling dialects and regional languages apart, and resolving ambiguity that the written form leaves open. This capability is now measured by a growing family of audio-reasoning benchmarks, but almost entirely in English and on general-domain audio. Southeast Asia (SEA) is served instead by benchmarks that inherit an English task taxonomy of recognition, translation, and paralinguistic classification, and therefore test whether a model hears SEA speech rather than whether it can reason from it. We introduce SEABED, an audio-first question answering dataset designed to benchmark language and audio reasoning models on SEA speech. SEABED comprises a suite of six audio-reasoning tasks built entirely from real, openly available SEA speech corpora, yielding 5,404 question-answer pairs. We evaluate six frontier and region-specific audio LLMs: even the state-of-the-art model Gemini 3.5 Flash achieves only 50.3% weighted average accuracy. SEABED evaluates not only answer accuracy, but also whether models' stated reasoning is grounded in the audio evidence. A sample of the benchmark data is available here: https://huggingface.co/datasets/CentificAIResearch/SEABED.
• Abstract（参考訳）: 現代の音声言語モデルは、翻訳できる単語のみに基づいて判断されるのではなく、音色と韻律に生きる意味を回復し、方言と地域言語を区別し、書体が開いているあいまいさを解消する、という理屈で判断される。 現在この機能は、音声推論ベンチマークの家族によって測定されているが、ほぼすべて英語と一般ドメインのオーディオで測定されている。 東南アジア(SEA)は、認識、翻訳、パラ言語分類の英語タスク分類を継承するベンチマークによって提供され、従ってモデルがSEA音声を聴くかどうかをテストする。 本稿では,SEA音声上での言語および音声推論モデルのベンチマークを目的とした,音声第一質問応答データセットSEABEDを紹介する。 SEABEDは6つのオーディオ推論タスクからなるスイートで構成されており、実際のSEA音声コーパスから構築され、5,404対の質問応答対が生成される。 最先端モデルであるGemini 3.5 Flashでさえ、50.3%の重み付き平均精度しか達成していない。 SEABEDは、回答精度だけでなく、モデルが主張する推論が音声証拠に根拠があるかどうかも評価する。 ベンチマークデータのサンプルは、https://huggingface.co/datasets/CentificAIResearch/SEABED.com/。

関連論文リスト

• SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia [20.33019395334099]
  東南アジア11言語で音声理解を評価するための,最初の大規模ベンチマークであるSEA-SpeechBenchを紹介する。 本ベンチマークでは、音声処理(自動音声認識、音声翻訳、音声質問応答)、パラ言語分析(感情、性別、年齢、話者認識)、時間的理解(時間的理解)の3つのカテゴリにまたがる9つのタスクからなる。 ネイティブSEA言語と英語の両方でマルチ言語プロンプトを実装し,音声-言語モデルとのユーザインタラクションを反映する。
  論文  参考訳（メタデータ） (2026-09-09T03:39:18Z)
• Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents [3.6734440150955368]
  音声言語モデル(ALM)は、音声に基づく理解にますます使われる。 アクセント変化, ドメインシフト, セマンティックオーバー推論が音声推論に与える影響はよく分かっていない。 5つの意味的・パラ言語的推論タスクにおける音声言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2026-05-11T20:27:40Z)
• All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation [45.45465533352999]
  大規模オーディオ言語モデルは、音声と音声のベンチマークで一貫したパフォーマンス向上を示すが、高いスコアは真の聴覚知覚を反映していないかもしれない。 本稿では,テキストと一般知識のみから応答可能性を測定するテキスト先行法と,音響信号への実際の依存度を評価するオーディオ依存法という,2つの軸を用いた診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:25:18Z)
• SCENEBench: An Audio Understanding Benchmark Grounded in Assistive and Industrial Use Cases [27.340743922132067]
  SCENEBenchは、背景音の理解、雑音の局所化、言語間音声の理解、発声者認識という4つの現実世界のカテゴリーにまたがる音声理解の幅広い形態をターゲットにしている。 このベンチマークスイートの目的は、発言される単語だけでなく、その発言の仕方や音声の非音声成分を評価することである。 我々は5つの最先端のLALMを評価し、重要なギャップを見出す: タスクによってパフォーマンスが異なり、いくつかのタスクはランダムな確率以下で実行され、他のタスクは高い精度を達成する。
  論文  参考訳（メタデータ） (2026-03-10T16:15:12Z)
• MiMo-Audio: Audio Language Models are Few-Shot Learners [87.95443029030969]
  MiMo-Audio-7B-Baseは、音声変換、スタイル転送、音声編集などのトレーニングデータから欠落するタスクを一般化する。 MiMo-Audio-7B-Baseはまた、非常にリアルなトークショー、リサイクリング、ライブストリーミング、討論を生成できる強力な音声継続機能をデモしている。
  論文  参考訳（メタデータ） (2025-12-29T19:06:05Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
  SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。 事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。 11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
  論文  参考訳（メタデータ） (2025-08-04T03:28:04Z)
• Salmon: A Suite for Acoustic Language Model Evaluation [20.802090523583196]
  SALMonは、背景雑音、感情、話者識別、室内インパルス応答を含む新しい評価スイートである。 SALMon 上で複数の言語モデルを評価し,評価手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2024-09-11T17:34:52Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。