論文の概要: SCENEBench: An Audio Understanding Benchmark Grounded in Assistive and Industrial Use Cases

• arxiv url: http://arxiv.org/abs/2603.09853v1
• Date: Tue, 10 Mar 2026 16:15:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.447177
• Title: SCENEBench: An Audio Understanding Benchmark Grounded in Assistive and Industrial Use Cases
• Title（参考訳）: SCENEBench: 補助的および産業的ユースケースを対象とした音声理解ベンチマーク
• Authors: Laya Iyer, Angelina Wang, Sanmi Koyejo,
• Abstract要約: SCENEBenchは、背景音の理解、雑音の局所化、言語間音声の理解、発声者認識という4つの現実世界のカテゴリーにまたがる音声理解の幅広い形態をターゲットにしている。 このベンチマークスイートの目的は、発言される単語だけでなく、その発言の仕方や音声の非音声成分を評価することである。 我々は5つの最先端のLALMを評価し、重要なギャップを見出す: タスクによってパフォーマンスが異なり、いくつかのタスクはランダムな確率以下で実行され、他のタスクは高い精度を達成する。
• 参考スコア（独自算出の注目度）: 27.340743922132067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in large language models (LLMs) have enabled significant capabilities in audio processing, resulting in state-of-the-art models now known as Large Audio Language Models (LALMs). However, minimal work has been done to measure audio understanding beyond automatic speech recognition (ASR). This paper closes that gap by proposing a benchmark suite, SCENEBench (Spatial, Cross-lingual, Environmental, Non-speech Evaluation), that targets a broad form of audio comprehension across four real-world categories: background sound understanding, noise localization, cross-linguistic speech understanding, and vocal characterizer recognition. These four categories are selected based on understudied needs from accessibility technology and industrial noise monitoring. In addition to performance, we also measure model latency. The purpose of this benchmark suite is to assess audio beyond just what words are said - rather, how they are said and the non-speech components of the audio. Because our audio samples are synthetically constructed (e.g., by overlaying two natural audio samples), we further validate our benchmark against 20 natural audio items per task, sub-sampled from existing datasets to match our task criteria, to assess ecological validity. We assess five state-of-the-art LALMs and find critical gaps: performance varies across tasks, with some tasks performing below random chance and others achieving high accuracy. These results provide direction for targeted improvements in model capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLMs)の進歩は、音声処理において重要な機能を実現し、現在ではLarge Audio Language Models (LALMs)として知られている最先端のモデルを生み出している。 しかし,自動音声認識(ASR)を超越した音声理解のための最小限の作業が実施されている。 本稿では、背景音理解、雑音定位、言語間音声理解、発声特性認識の4つの分野にまたがる幅広い音声理解を目標とする、SCENEBench (Spatial, Cross-lingual, Environmental, Non-Speech Evaluation) というベンチマークスイートを提案することにより、そのギャップを埋める。 これら4つのカテゴリは、アクセシビリティ技術と産業騒音監視の下位ニーズに基づいて選択される。 パフォーマンスに加えて、モデルのレイテンシも測定します。 このベンチマークスイートの目的は、発言される単語だけでなく、その発言の仕方や音声の非音声成分を評価することである。 音声サンプルは人工的に構築されているため(例:2つの自然なオーディオサンプルをオーバーレイすることで)、既存のデータセットをサブサンプリングしてタスク基準に適合させ、生態学的妥当性を評価することで、我々のベンチマークをさらに検証する。 我々は5つの最先端のLALMを評価し、重要なギャップを見出す: タスクによってパフォーマンスが異なり、いくつかのタスクはランダムな確率以下で実行され、他のタスクは高い精度を達成する。 これらの結果は、モデル機能の改善を目標とする方向を提供する。

関連論文リスト

• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• USAD: Universal Speech and Audio Representation via Distillation [56.91647396619358]
  Universal Speech and Audio Distillation (USAD)は、音声表現学習における統一的なアプローチである。 USADは音声、音声、音楽の様々なタイプを単一のモデルに統合する。
  論文  参考訳（メタデータ） (2025-06-23T17:02:00Z)
• Audio Enhancement for Computer Audition -- An Iterative Training Paradigm Using Sample Importance [42.90024643696503]
  音声強調のためのモデルを協調的に最適化するエンド・ツー・エンドの学習ソリューションを提案する。 トレーニングパラダイムを評価するための4つの代表的なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2024-08-12T16:23:58Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)
• Joint Speech Recognition and Audio Captioning [37.205642807313545]
  室内と屋外の両方で録音された音声サンプルは、しばしば二次音源で汚染される。 自動音声キャプション(AAC)の進展する分野と、徹底的に研究された自動音声認識(ASR)を一体化することを目的としている。 本稿では,ASRタスクとAACタスクのエンドツーエンド共同モデリングのためのいくつかのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-03T04:42:43Z)
• Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks [20.316239155843963]
  本稿では,音声表現学習手法を提案し,それを下流の音声非音声タスクに適用する。 AudioSetベンチマークでは、平均平均精度(mAP)スコアが0.415に達しています。
  論文  参考訳（メタデータ） (2021-10-14T12:32:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。