論文の概要: From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models

• arxiv url: http://arxiv.org/abs/2606.25391v1
• Date: Wed, 24 Jun 2026 04:42:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.221367
• Title: From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models
• Title（参考訳）: 音から場面へ:大規模音声言語モデルにおける文脈を考慮した聴覚シーン理解のためのベンチマーク
• Abstract要約: 実世界の聴覚解釈には文脈を考慮した聴覚シーン理解(CASU)が必要である 本稿では、音声LLMが音声、音響イベント、背景環境からなる聴覚シーンを解釈できるかどうかを評価するCASUベンチマークを提案する。 本稿では,リアルタイムのシーン音声を合成音声で合成することにより,時間精度の高い半合成音声ストリームを構築するためのスケーラブルなパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 19.687157920670987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Large Audio Language Models (LALMs) have achieved remarkable progress in audio perceptual tasks across individual acoustic layers, including speech, sound, and music. However, existing benchmarks predominantly evaluate these layers in isolation, overlooking the complex contextual relationships that arise when multiple acoustic sources co-occur in real-world auditory scenes. Real-world auditory interpretation requires Context-Aware Auditory Scene Understanding (CASU): the ability to comprehend the holistic scene by integrating sound layers. To evaluate this capability, we introduce the CASU benchmark, which assesses whether Audio LLMs can interpret auditory scenes composed of speech, acoustic events (e.g., announcements), and background environments (e.g., traffic), and reason about the logical relationships between these layers. We propose a scalable pipeline for constructing time-accurate, semi-synthetic audio streams by composing real-world scene sounds with synthetic speech. Building on this data, we design four tasks that probe scene understanding: contextual question answering, entity extraction from the scene, speaker role inference, and counterfactual reasoning where scene is manipulated. Experiments across multiple LALMs demonstrate that effective auditory scene understanding requires integration over all auditory layers, rather than reliance on speech or sound alone, underscoring the necessity of CASU for advancing complex audio understanding in LALMs.
• Abstract（参考訳）: 近年のLarge Audio Language Models (LALM) は、音声、音声、音楽を含む個々の音響層にまたがる音声知覚タスクにおいて顕著な進歩を遂げている。 しかし、既存のベンチマークはこれらの層を独立して評価し、複数の音響源が現実世界の聴覚シーンで共起するときに生じる複雑な文脈的関係を見越す。 実世界の聴覚解釈には、音層を統合することで全体像を理解する能力(CASU:Context-Aware Auditory Scene Understanding)が必要である。 この能力を評価するために,音声LLMが音声,音響イベント(例えば,発表),背景環境(例えば,トラフィック)からなる聴覚シーンを解釈し,それらの層間の論理的関係を推論できるかどうかを評価するCASUベンチマークを導入する。 本稿では,リアルタイムのシーン音声を合成音声で合成することで,時間精度の高い半合成音声ストリームを構築するためのスケーラブルなパイプラインを提案する。 このデータに基づいて,文脈的質問応答,シーンからのエンティティ抽出,話者の役割推論,シーンが操作される場所の対実的推論という,シーン理解を探索する4つのタスクを設計する。 複数のLALMにまたがる実験により、効果的な聴覚シーン理解は、音声や音声のみに頼るのではなく、全ての聴覚層を統合する必要があることが示され、LALMにおける複雑な音声理解を促進するためのCASUの必要性が強調された。

関連論文リスト

• Do Audio-Visual Large Language Models Really See and Hear? [66.8531220331223]
  我々は音声と視覚機能がどのように進化し、最終的なテキスト出力を生成するためにAVLLMの異なる層を融合するかを分析する。 AVLLMの基本的なモダリティバイアスを明らかにし、マルチモーダルLLMがオーディオとビジョンをどのように統合するかに関する新しい力学的な洞察を提供する。
  論文  参考訳（メタデータ） (2026-04-03T00:48:49Z)
• How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation [97.0235251827591]
  大規模言語モデル (LLM) は,Large Audio Language Models (LALM) の知識バックボーンとして広く利用されている。 テキストのみの事前学習によって符号化される聴覚知識の量と、それが下流のパフォーマンスに与える影響について検討する。 その結果,家族間で聴覚知識が大きく異なり,テキストのみの結果が音響性能と強く相関していることが判明した。
  論文  参考訳（メタデータ） (2026-03-19T17:50:07Z)
• Causal Tracing of Audio-Text Fusion in Large Audio Language Models [48.849764961130795]
  我々は、音声理解におけるLALMの内部情報の流れを調べるために因果追跡を適用した。 DeSTA,Qwen,Voxtralを横断的に層状およびトークン的に解析することにより,個々の隠れ状態の因果効果を評価する。
  論文  参考訳（メタデータ） (2026-03-14T05:40:59Z)
• Echo: Towards Advanced Audio Comprehension via Audio-Interleaved Reasoning [39.264735719707154]
  現在の取り組みは、ワンタイムエンコーディングを通じて音声コンテンツを文脈化することで、テキストベースの推論を再現している。 本稿では,このボトルネックを突破するための音声インターリーブ推論を提案する。 本稿では,要求時に音声に動的に再登録できるLALMのEchoについて述べる。
  論文  参考訳（メタデータ） (2026-02-12T13:06:34Z)
• WoW-Bench: Evaluating Fine-Grained Acoustic Perception in Audio-Language Models via Marine Mammal Vocalizations [67.6147632074449]
  海洋哺乳動物の発声を用いた低レベルの聴覚知覚と認知を評価するために,WoW-Benchベンチマーク(World-of-Whale benchmark)を導入した。 WoW-Benchは、新しい音を分類するための知覚ベンチマークと、ブルームの分類学にインスパイアされた認知ベンチマークで構成され、音の出来事を記憶、理解、応用、分析する能力を評価する。 最先端のLALMを用いた実験は、人間のレベルよりもはるかに低い性能を示し、LALMのより強力な聴覚的接地の必要性を示している。
  論文  参考訳（メタデータ） (2025-08-28T16:29:46Z)
• Auditory Intelligence: Understanding the World Through Sound [4.6684925321613076]
  本稿では,知覚,推論,相互作用を包含する階層的位置決めプロセスとして,聴覚知能の概念的再フレーミングを提案する。 時間周波数パターンキャプション,階層的イベント/シーン記述,因果的説明,目標駆動解釈の4つの認知的インスピレーションを受けたタスクパラダイム(ASPIRE, SODA, AUX, AUGMENT)を紹介する。
  論文  参考訳（メタデータ） (2025-08-11T10:25:58Z)
• Evaluation of Deep Audio Representations for Hearables [1.5646349560044959]
  このデータセットは、30秒ごとに1,158曲のオーディオトラックを含み、空間的にプロプライエタリなモノローグと、日々の音響シーンの高品質な録音を混合して作成されている。 本ベンチマークでは,音声シーンの一般的な文脈,音声ソース,技術的音響特性を評価する8つのタスクを網羅する。 この優位性は、様々なオーディオコレクションで訓練されたモデルの利点を強調し、聴取可能なステアリングに必要な環境特性の符号化を含む幅広い聴覚タスクに適用可能であることを確認する。
  論文  参考訳（メタデータ） (2025-02-10T16:51:11Z)
• Self-Supervised Visual Acoustic Matching [63.492168778869726]
  音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。 そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。 提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
  論文  参考訳（メタデータ） (2023-07-27T17:59:59Z)
• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis [61.07542274267568]
  我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。 音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。 本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。