論文の概要: Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs

• arxiv url: http://arxiv.org/abs/2610.21588v1
• Date: Thu, 15 Oct 2026 09:34:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.307228
• Title: Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs
• Title（参考訳）: 聴覚, 局所化, 推論: 空間認識による視覚的LLMの理解
• Abstract要約: HLR-AVSceneQAは、モデルが聴取を認識できるかどうかを評価する。 さらに,HLR-LLMを導入し,そのモノラル・セマンティック・オーディオ・パスと並んで空間的オーディオ・ブランチを付加した強音声-視覚基盤モデルを提案する。 実験により,HLR-LLMは意味的視覚知覚を損なうことなく空間的音声・視覚シーン理解を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 45.37356429717315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual large language models (AV-LLMs) have made strong progress in multimodal understanding, yet most treat audio as monaural semantic content, limiting their ability to reason about where sounds originate and how they relate to the visual scene. Recent spatial audio-visual studies address parts of this problem, but often focus on specific abilities, such as spatial correspondence or direction and distance reasoning. In this work, we introduce HLR-AVSceneQA, a comprehensive benchmark with a hear-localize-reason hierarchy that evaluates whether models can recognize what is heard, localize sound sources in egocentric and allocentric views, and use these localized sources to reason about how they relate to the visual scene. We further introduce HLR-LLM, which augments a strong audio-visual foundation model with a binaural spatial audio branch alongside its monaural semantic audio pathway. We train HLR-LLM with a curriculum that incorporates final-stage chain-of-thought supervision for multi-step spatial reasoning. Experiments show that existing AV-LLMs remain limited in spatial grounding and relational reasoning, while HLR-LLM substantially improves spatial audio-visual scene understanding without compromising semantic audio-visual perception.
• Abstract（参考訳）: 音声-視覚的大言語モデル(AV-LLM)は、マルチモーダル理解において大きな進歩を遂げているが、ほとんどの場合、音声を単調な意味的コンテンツとして扱い、音の発する場所と視覚シーンとの関連性について推論する能力を制限する。 近年の空間音声・視覚研究はこの問題の一部に対処しているが、空間的対応や方向、距離推論といった特定の能力に焦点を当てることが多い。 本研究では,HLR-AVSceneQAを用いて,モデルが聴取対象を認識できるかどうかを判断し,音源を自己中心的・同心的視点にローカライズし,これらの音源を用いて視覚的シーンとの関連性について考察する。 さらに,HLR-LLMを導入し,バイノーラルな空間的音声分岐と,そのモノラルな意味的音声経路を併せ持つ強力な音声-視覚基盤モデルを構築した。 我々は,多段階空間推論のための最終段階の連鎖監視を取り入れたカリキュラムでHLR-LLMを訓練する。 実験の結果,既存のAV-LLMは空間的接地や関係的推論において限定的でありながら,HLR-LLMは意味的音声-視覚知覚を損なうことなく空間的音声-視覚シーン理解を大幅に改善することがわかった。

関連論文リスト

• SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former [27.10681532759409]
  空間オーディオ大言語モデル(LLM)は、エンボディエージェント、ウェアラブルアシスタント、没入型システムによって、音のイベントを認識し、ソースをローカライズし、それらの空間的関係を推論することができる。 これらの設計は、特にマルチソースシーンにおいて、個々の音事象とその空間特性の対応を維持するのを困難にしている。 音声エンコーディングからLLMアライメントまでの音響空間構造とソースレベル対応を保存したLLMを用いた空間オーディオインテリジェンスフレームワークSAILを提案する。
  論文  参考訳（メタデータ） (2026-09-28T05:23:23Z)
• Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources [57.68713138159972]
  本稿では,ソーストラジェクトリとともにイベントセマンティクスを学習する時間分解型オーディオエンコーダを提案する。 実験により、この表現は意味的局所化を改善し、空間的および局所化指向のトレードオフよりも強い推論をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-06-12T05:58:31Z)
• Do Audio-Visual Large Language Models Really See and Hear? [66.8531220331223]
  我々は音声と視覚機能がどのように進化し、最終的なテキスト出力を生成するためにAVLLMの異なる層を融合するかを分析する。 AVLLMの基本的なモダリティバイアスを明らかにし、マルチモーダルLLMがオーディオとビジョンをどのように統合するかに関する新しい力学的な洞察を提供する。
  論文  参考訳（メタデータ） (2026-04-03T00:48:49Z)
• Spatial Audio Motion Understanding and Reasoning [8.029049649310211]
  空間音響推論は、機械が出来事とその空間特性を理解することによって聴覚シーンを解釈することを可能にする。 空間音響エンコーダを導入し,複数の重なり合う事象を検出し,その空間特性,DoA(Direction of Arrival)および音源距離をフレームレベルで推定する。 第2に、移動音源を含む動的オーディオシーンに関する複雑な質問に答えるために、我々のモデルによって抽出された構造化空間属性に対して、大きな言語モデル(LLM)を条件付ける。
  論文  参考訳（メタデータ） (2025-09-18T06:53:22Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• LAVSS: Location-Guided Audio-Visual Spatial Audio Separation [52.44052357829296]
  位置誘導型空間空間オーディオセパレータを提案する。 提案するLAVSSは,空間的オーディオと視覚的位置の相関に着想を得たものである。 さらに,事前学習したモノラル分離器を用いて,豊かなモノラル音からの知識を伝達し,空間的音声分離を促進する。
  論文  参考訳（メタデータ） (2023-10-31T13:30:24Z)
• Learning Spatial Features from Audio-Visual Correspondence in Egocentric Videos [69.79632907349489]
  本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。 本手法では,マスク付き(マルチチャネル)音声を音声と視覚の相乗効果により合成するために,マスク付き自動符号化フレームワークを用いる。
  論文  参考訳（メタデータ） (2023-07-10T17:58:17Z)
• Telling Left from Right: Learning Spatial Correspondence of Sight and Sound [16.99266133458188]
  本稿では,音声ストリーム内の空間情報を視覚ストリーム内の音源の位置に合わせるという原理を活用するための,新たな自己教師型タスクを提案する。 我々は、左右のオーディオチャンネルが反転したかどうかを判断するためにモデルを訓練し、視覚とオーディオストリーム間の空間的ローカライゼーションについて推論を強制する。 空間対応の理解により、3つの視覚的タスクにおいてモデルの性能が向上し、教師付きベースラインや自己教師付きベースラインよりも定量的に向上することが実証された。
  論文  参考訳（メタデータ） (2020-06-11T04:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。