論文の概要: SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding

• arxiv url: http://arxiv.org/abs/2610.10624v1
• Date: Wed, 07 Oct 2026 08:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.57484
• Title: SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding
• Title（参考訳）: SAVU-BENCH:空間的音声視覚理解のための実世界のベンチマーク
• Abstract要約: 既存のベンチマークは、しばしばシミュレートされたシーンに依存し、孤立した空間スキルを評価し、障害モードに関する限られた診断洞察を提供する。 SAVU-Benchは3つの能力レベルと7つの評価タスクの空間的視覚的理解を体系的に評価する実世界のベンチマークである。 SAVU-EAは,空間的手がかりをより明確化するためのトレーニング不要なエビデンス拡張ベースラインである。
• 参考スコア（独自算出の注目度）: 41.6198756377988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial audio-visual understanding requires models to recognize not only what is present, but also where events occur and how they relate across modalities. Existing benchmarks often rely on simulated scenes, evaluate isolated spatial skills, and provide limited diagnostic insight into failure modes. We introduce SAVU-Bench, a real-world benchmark that systematically evaluates spatial audio-visual understanding across three capability levels and seven evaluation tasks. We further introduce SAVU-Diag, a scene-linked diagnostic set that decomposes reasoning questions into their prerequisite grounding and alignment sub-tasks. Evaluation of 12 representative models on SAVU-Bench reveals that while visual spatial grounding is relatively mature, spatial perception involving audio remains a primary bottleneck. SAVU-Diag further demonstrates that most reasoning errors co-occur with failures on these prerequisite tasks, though reasoning gaps persist even when prerequisites are correctly resolved. Motivated by these findings, we introduce SAVU-EA, a training-free evidence-augmented baseline that makes spatial cues more explicit. While SAVU-EA substantially improves spatial grounding and joint matching, high-level spatial reasoning remains challenging. Our findings highlight the urgent need for both robust spatial audio perception and deeper integration of cross-modal spatial relations.
• Abstract（参考訳）: 空間的音声・視覚的理解は、現在存在するものだけでなく、イベントの発生場所やモダリティ間の関連性も認識するモデルを必要とする。 既存のベンチマークは、しばしばシミュレートされたシーンに依存し、孤立した空間スキルを評価し、障害モードに関する限られた診断洞察を提供する。 SAVU-Benchは3つの能力レベルと7つの評価タスクの空間的視覚的理解を体系的に評価する実世界のベンチマークである。 また,SAVU-Diagについても紹介する。SAVU-Diagはシーンにリンクされた診断セットで,質問を前提条件のグラウンドとアライメントのサブタスクに分解する。 SAVU-Benchにおける12種類の代表モデルの評価では、視覚的空間的接地は比較的成熟しているが、音声を含む空間的知覚が主要なボトルネックであることが示された。 SAVU-Diagはさらに、ほとんどの推論エラーはこれらの前提条件タスクの失敗と一致しているが、前提条件が正しく解決された場合でも、推論ギャップは持続することを示した。 SAVU-EAは,空間的手がかりをより明確化するためのトレーニング不要なエビデンス強化ベースラインである。 SAVU-EAは空間接地と関節マッチングを大幅に改善するが、高レベルの空間推論は依然として困難である。 以上の結果から,頑健な空間音知覚と相互空間関係のより深い統合の必要性が浮き彫りとなった。

関連論文リスト

• Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence [23.612425637328553]
  SIS-Benchは、UAVシナリオにおけるエンボディド空間インテリジェンスを評価するためのベンチマークである。 SIS-Benchは、空間と自己の2つの相補的な次元と、知覚、記憶、推論の3レベル階層に沿って評価を編成する。 実験結果から,モデリングエージェントの動作は知覚と記憶性能を一貫して改善することが示された。
  論文  参考訳（メタデータ） (2026-07-14T08:04:31Z)
• SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
  事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。 データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。 さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
  論文  参考訳（メタデータ） (2026-07-02T06:56:29Z)
• How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
  視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。 空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
  論文  参考訳（メタデータ） (2025-09-23T12:00:14Z)
• OST-Bench: Evaluating the Capabilities of MLLMs in Online Spatio-temporal Scene Understanding [50.72259772580637]
  エージェントの観点から,オンライン時空間理解を評価するためのベンチマークOST-Benchを紹介する。 効率的なデータ収集パイプライン上に構築されたOST-Benchは、ScanNet、Matterport3D、ARKitScenesから収集された1.4kのシーンと10kの質問応答ペアで構成されている。 複雑な空間的推論要求と長期記憶検索要求の両方が、2つの別々の軸に沿ってモデル性能を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2025-07-10T17:56:07Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [13.768090541138571]
  視覚言語モデル(VLM)はオブジェクトの識別と記述に優れるが、しばしば空間的推論では失敗する。 視覚トークンの埋め込みは、テキストトークンよりもはるかに大きな規範を持っている。 視覚トークンとシステムが注目を惹きつけることを明らかにするツール。
  論文  参考訳（メタデータ） (2025-03-21T17:51:14Z)
• Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
  機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
  論文  参考訳（メタデータ） (2025-03-03T17:57:03Z)
• SPHERE: Unveiling Spatial Blind Spots in Vision-Language Models Through Hierarchical Evaluation [7.659514491338669]
  現在の視覚言語モデルは、基本的な空間的手がかりを把握できるが、人間のような理解や現実世界の応用に必要な多次元空間的推論に苦慮している。 我々は,新しい人間注釈付きデータセットをサポートする階層的評価フレームワークであるSPHEREを開発した。 最先端モデルのベンチマーク評価では、特に距離と近接性についての推論において、重大な欠陥が示される。
  論文  参考訳（メタデータ） (2024-12-17T09:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。