論文の概要: VocalGrad: Evaluating Acoustic Perception in Audio Language Models

• arxiv url: http://arxiv.org/abs/2610.23745v1
• Date: Fri, 16 Oct 2026 16:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.028336
• Title: VocalGrad: Evaluating Acoustic Perception in Audio Language Models
• Title（参考訳）: VocalGrad: 音声モデルにおける音響知覚の評価
• Abstract要約: 我々は,低レベルの音響変化を知覚する大規模音声モデルの能力を評価するために設計されたベンチマークであるVocalGradを紹介する。 評価の結果,人間のアノテータと最先端のLALMの音響的知覚にはかなりの差があることが判明した。
• 参考スコア（独自算出の注目度）: 16.394933051332657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent large audio language models (LALMs) have extended their capabilities beyond lexical speech understanding to tasks requiring paralinguistic and non-linguistic audio understanding, such as emotion recognition. However, these models still struggle to reliably utilize acoustic information, particularly when it co-occurs with spoken linguistic content. Existing benchmarks do not clearly distinguish acoustic perception from higher-level reasoning, making it difficult to identify the source of these failures. To address this issue, we introduce VocalGrad, a benchmark designed to evaluate LALMs' ability to perceive low-level acoustic variations. VocalGrad formulates this problem as a simple binary classification of temporal change direction, enabling evaluation largely independent of higher-level reasoning or semantic understanding. Our benchmark results reveal a substantial gap in acoustic perception between human annotators and state-of-the-art LALMs: while human annotators achieve high accuracy, LALMs perform at near-chance levels. We further conduct linear probing to identify structural bottlenecks in these models. Our analysis reveals two distinct failure modes: for some categories, task-relevant information is preserved in internal representations but not utilized by the language model head; for others, the information becomes progressively less linearly decodable across model layers. Overall, our results reveal substantial limitations of LALMs in modeling acoustic variation under controlled settings and expose representation differences not observable from text outputs.
• Abstract（参考訳）: 最近の大規模音声言語モデル(LALM)は、語彙的音声理解を超えて、感情認識のようなパラ言語的および非言語的音声理解を必要とするタスクまでその能力を拡張している。 しかし、これらのモデルは、特に話し言葉の内容と共起する場合に、音響情報を確実に活用することに苦慮している。 既存のベンチマークでは、音の知覚と高いレベルの推論を明確に区別することはできず、これらの失敗の原因を特定することは困難である。 この問題に対処するために,低レベルの音響変化を知覚するLALMの能力を評価するためのベンチマークであるVocalGradを紹介する。 VocalGradは、この問題を時間変化方向の単純なバイナリ分類として定式化し、高いレベルの推論や意味的理解に大きく依存しない評価を可能にした。 評価の結果,人間のアノテータと最先端のLALMの音響的知覚にはかなり差があることが明らかとなった。 さらに、これらのモデルにおける構造的ボトルネックを特定するために線形探索を行う。 いくつかのカテゴリでは、タスク関連情報は内部表現に保存されるが、言語モデルヘッドでは利用されない。 本研究の結果は,制御条件下での音響変化のモデル化におけるLALMの大幅な限界を明らかにし,テキスト出力から観測できない表現差を明らかにした。

関連論文リスト

• MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models [11.14810883033264]
  大規模音声言語モデル(LALM)における音声劣化知覚と理解のベンチマークであるMRMADを導入する。 MRMADは音声、音楽、音声にまたがり、複数の音声入力の多ターン対話としての評価を行う。 現在のモデルは、劣化を確実に診断、比較、または理由付けを怠りながら、粗い内容を認識することが多い。
  論文  参考訳（メタデータ） (2026-08-23T06:23:31Z)
• WoW-Bench: Evaluating Fine-Grained Acoustic Perception in Audio-Language Models via Marine Mammal Vocalizations [67.6147632074449]
  海洋哺乳動物の発声を用いた低レベルの聴覚知覚と認知を評価するために,WoW-Benchベンチマーク(World-of-Whale benchmark)を導入した。 WoW-Benchは、新しい音を分類するための知覚ベンチマークと、ブルームの分類学にインスパイアされた認知ベンチマークで構成され、音の出来事を記憶、理解、応用、分析する能力を評価する。 最先端のLALMを用いた実験は、人間のレベルよりもはるかに低い性能を示し、LALMのより強力な聴覚的接地の必要性を示している。
  論文  参考訳（メタデータ） (2025-08-28T16:29:46Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Understanding Sounds, Missing the Questions: The Challenge of Object Hallucination in Large Audio-Language Models [49.87432626548563]
  本稿では,一般公開LALMの物体幻覚の程度を評価する手法を提案する。 以上の結果から,LALMは音声コンテンツの理解において,特別な音声キャプションモデルに匹敵するものであることが明らかとなった。 差別的質問に対するLALMの性能を高めるために,迅速なエンジニアリングの可能性を探る。
  論文  参考訳（メタデータ） (2024-06-12T16:51:54Z)
• Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations [30.293081541301746]
  wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。 この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。 我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
  論文  参考訳（メタデータ） (2023-05-14T08:26:24Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。