論文の概要: RAIL: Rethinking Auditory Intelligence in Large Audio-Language Models with a CHC-Grounded Benchmark

• arxiv url: http://arxiv.org/abs/2606.11260v1
• Date: Tue, 09 Jun 2026 02:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.091336
• Title: RAIL: Rethinking Auditory Intelligence in Large Audio-Language Models with a CHC-Grounded Benchmark
• Title（参考訳）: RAIL:CHC-Grounded Benchmarkによる大規模オーディオ言語モデルにおける聴覚情報の再考
• Authors: Hongyu Jin, Siyi Wang, Yang Xiao, Jiaheng Dong, Shihong Tan, Kaiyuan peng, Georgiana Juravle, Shanquan Chen, Gongping Huang, Hong Jia, Eun-Jung Holden, James Bailey, Ting Dang,
• Abstract要約: 本研究では,Catatell-Horn-Carroll認知フレームワークを基盤とした人間中心評価パラダイムであるRAILを紹介する。 RAILは、聴覚認知を5つのコア機能に形式化し、それらを構造化された評価タスクへと発展させる。 我々は26の最先端オーディオ言語モデルを評価し、現在のモデルが認知能力にまたがって非常に不均一な性能を示すことを発見した。
• 参考スコア（独自算出の注目度）: 20.145119456771926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans process rich auditory environments through tightly integrated cognitive capabilities such as audio perception, audio reasoning, and memory. Despite recent progress in large audio-language models (LALMs) across speech understanding and multimodal audio reasoning, current evaluation paradigms remain largely task- or modality-centric, focusing on end performance while overlooking underlying auditory cognitive behaviours. This reveals a fundamental gap between how auditory cognition is understood in humans and how it is evaluated in LALMs, particularly in the lack of frameworks that operationalise cognitive principles beyond task-level metrics to systematically capture model behaviour. In this work, we introduce RAIL, a human-centric evaluation paradigm grounded in the Cattell-Horn-Carroll (CHC) cognitive framework. RAIL formalises auditory cognition into five core capabilities and develop them into structured evaluation tasks that probe how models process, retain, and integrate auditory information. We further construct a cognitively grounded benchmark with principled data curation and human-aligned evaluation protocols. Evaluating 26 state-of-the-art LALMs, we find that current models exhibit highly uneven performance across cognitive abilities. RAIL establishes a new evaluation paradigm that moves beyond task-centric benchmarking toward cognitively grounded assessment of auditory intelligence.
• Abstract（参考訳）: 人間は、音声知覚、音声推論、記憶などの密に統合された認知機能を通じて、豊かな聴覚環境を処理する。 音声理解とマルチモーダル音声推論における大規模音声言語モデル(LALM)の進歩にもかかわらず、現在の評価パラダイムは、主にタスク中心またはモダリティ中心であり、基礎となる聴覚認知行動を見越しながら、エンドパフォーマンスに焦点を当てている。 これは、人間の聴覚認知の理解方法と、LALMで評価される方法、特にモデル行動を体系的に捉えるためのタスクレベルのメトリクスを超えた認知原則を運用するフレームワークの欠如の間に、根本的なギャップが浮かび上がっている。 本研究では,Cttell-Horn-Carroll(CHC)認知フレームワークを基盤とした人間中心評価パラダイムであるRAILを紹介する。 RAILは、聴覚認知を5つのコア機能に形式化し、それをモデルがどのように処理し、保持し、聴覚情報を統合するかを調査する構造化評価タスクへと発展させる。 さらに,基本データキュレーションと人間対応評価プロトコルを用いた認知基盤ベンチマークを構築した。 26の最先端のLALMを評価すると、現在のモデルは認知能力にまたがって非常に不均一な性能を示すことがわかった。 RAILは、タスク中心のベンチマークを超えて、聴覚知能の認知的基盤評価へと進む新しい評価パラダイムを確立する。

関連論文リスト

• Decomposing and Steering Functional Metacognition in Large Language Models [7.62618887128252]
  大規模言語モデルは機能的メタ認知状態の分解可能な空間を維持していることを示す。 これらの状態は、内部の活性化から線形に退避可能であり、異なる層回りのプロファイルを示す。 この結果から,ベンチマーク性能はタスク能力だけでなく,特定の機能的メタ認知状態の活性化を反映していることが示唆された。
  論文  参考訳（メタデータ） (2026-05-09T13:22:47Z)
• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• WoW-Bench: Evaluating Fine-Grained Acoustic Perception in Audio-Language Models via Marine Mammal Vocalizations [67.6147632074449]
  海洋哺乳動物の発声を用いた低レベルの聴覚知覚と認知を評価するために,WoW-Benchベンチマーク(World-of-Whale benchmark)を導入した。 WoW-Benchは、新しい音を分類するための知覚ベンチマークと、ブルームの分類学にインスパイアされた認知ベンチマークで構成され、音の出来事を記憶、理解、応用、分析する能力を評価する。 最先端のLALMを用いた実験は、人間のレベルよりもはるかに低い性能を示し、LALMのより強力な聴覚的接地の必要性を示している。
  論文  参考訳（メタデータ） (2025-08-28T16:29:46Z)
• Zero-Shot Cognitive Impairment Detection from Speech Using AudioLLM [9.84961079811343]
  音声は、認知低下を評価するための非侵襲的で容易に収集可能なバイオマーカーとして注目されている。 従来の認知障害検出法は、音声から抽出された音響的特徴と言語的特徴に基づいて訓練された教師付きモデルに依存している。 音声入力とテキスト入力の両方を処理可能なモデルであるQwen2- Audio AudioLLMを用いた,最初のゼロショット音声ベースのCI検出手法を提案する。
  論文  参考訳（メタデータ） (2025-06-20T01:28:43Z)
• Scaling Auditory Cognition via Test-Time Compute in Audio Language Models [9.927800622905265]
  大規模言語モデル (LLM) は自然言語処理において極めて多目的性を示している。 音声LLMは音声認識や合成といったタスクに優れる。 現実の環境がもたらす聴覚的認知的課題に直面するとき、どのように機能するかは、まだ不明である。
  論文  参考訳（メタデータ） (2025-03-30T11:04:18Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• Evaluating Subjective Cognitive Appraisals of Emotions from Large Language Models [47.890846082224066]
  この研究は、24の評価次元を評価する最も包括的なデータセットであるCovidET-Appraisalsを提示することでギャップを埋める。 CovidET-Appraisalsは、認知的評価を自動的に評価し、説明するための大規模言語モデルの能力を評価するのに理想的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2023-10-22T19:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。