論文の概要: USAI-Quant: A Quantitative Reasoning Benchmark for Vision-Language Models in Built Environments

• arxiv url: http://arxiv.org/abs/2609.32813v1
• Date: Sat, 26 Sep 2026 17:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:00:49.094635
• Title: USAI-Quant: A Quantitative Reasoning Benchmark for Vision-Language Models in Built Environments
• Title（参考訳）: USAI-Quant: 構築環境における視覚言語モデルのための定量的推論ベンチマーク
• Abstract要約: 現在最先端の大規模視覚言語モデル(VLM)は、リモートセンシング画像の定量的推論に苦慮している。 リモートセンシング画像を用いた構築環境計測において,VLMの推論能力を定量的に評価するための最初のベンチマークを開発した。
• 参考スコア（独自算出の注目度）: 19.212486101876213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (VLMs) have emerged as a powerful paradigm for urban and spatial AI. However, current state-of-the-art large VLMs still struggle with quantitative reasoning on remote sensing imagery. Existing benchmarks and algorithms are predominantly based on qualitative Visual Question Answering (VQA), providing limited insights into the quantitative reasoning capabilities of VLMs for built environment metrics. To address this gap, we develop Quantitative Urban and Spatial AI benchmark (USAI-Quant), the first benchmark designed to quantitatively evaluate VLM's reasoning capabilities on built environment metrics via remote sensing imagery. USAI-Quant is curated from the 335 largest U.S. cities, aligning high-resolution remote sensing images with quantitative built environment metrics. We then evaluate both general-purpose and remote sensing VLMs (RS-VLMs) by applying VQAs to tens of built environment metrics across three complexity levels. Our results reveal that current state-of-the-art models consistently fall short on numeric reasoning tasks. We further conduct in-depth analyses across models, question types, and geographic locations, uncovering insights into performance variability and task-specific challenges.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、都市および空間AIの強力なパラダイムとして登場した。 しかし、現在最先端の大型VLMは、リモートセンシング画像の定量的推論に苦戦している。 既存のベンチマークとアルゴリズムは、主に定性的視覚質問回答(VQA)に基づいており、構築された環境メトリクスに対するVLMの量的推論能力に関する限られた洞察を提供する。 このギャップに対処するために、我々は、リモートセンシング画像を通して構築された環境メトリクスに対するVLMの推論能力を定量的に評価するために設計された最初のベンチマークである、量的都市空間AIベンチマーク(USAI-Quant)を開発した。 USAI-Quantは、米国の335大都市からキュレートされ、高解像度のリモートセンシング画像と定量的に構築された環境メトリクスを調整している。 次に、VQAを3つの複雑さレベルにわたる数十の環境メトリクスに適用することにより、汎用VLMとリモートセンシングVLM(RS-VLMs)の両方を評価する。 以上の結果から,現状のモデルでは数値推論のタスクが一貫して不足していることが判明した。 さらに、モデル、質問タイプ、地理的位置の詳細な分析を行い、パフォーマンスの多様性とタスク固有の課題に関する洞察を明らかにします。

関連論文リスト

• Built Environment Reasoning from Remote Sensing Imagery Using Large Vision--Language Models [6.73690088264437]
  本研究では,スマートシティにおけるタスクにおける大規模言語モデル(LLM)の利用について検討する。 中心となる考え方は、リモートセンシング画像を利用して構築された環境を特徴付けることである。 マルチモーダル言語モデリングのための入力として,複数の空間スケールでのリモートセンシング画像について検討する。
  論文  参考訳（メタデータ） (2026-05-08T19:10:30Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
  マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。 既存のMLLMは3次元空間認識と理解能力を持っているか?
  論文  参考訳（メタデータ） (2025-05-22T17:59:03Z)
• NuScenes-SpatialQA: A Spatial Understanding and Reasoning Benchmark for Vision-Language Models in Autonomous Driving [10.41584658117874]
  自律運転における視覚言語モデル(VLM)の空間的理解と推論能力を評価するために設計された,第1の大規模地下構造に基づく質問応答(QA)ベンチマークであるNuScenes-SpatialQAを提案する。 NuScenesデータセットに基づいて構築されたこのベンチマークは、自動化された3Dシーングラフ生成パイプラインとQA生成パイプラインによって構築される。 このベンチマークを用いて、汎用モデルと空間拡張モデルの両方を含む多様なVLMに関する広範な実験を行い、自律運転における空間能力を総合的に評価した。
  論文  参考訳（メタデータ） (2025-04-04T04:43:10Z)
• GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
  本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。 地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
  論文  参考訳（メタデータ） (2024-11-28T18:59:56Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。