論文の概要: Holistic Evaluation of Multimodal LLMs on Spatial Intelligence

• arxiv url: http://arxiv.org/abs/2508.13142v2
• Date: Mon, 13 Oct 2025 16:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:09.141132
• Title: Holistic Evaluation of Multimodal LLMs on Spatial Intelligence
• Title（参考訳）: 空間インテリジェンスにおけるマルチモーダルLLMの全体的評価
• Authors: Zhongang Cai, Yubo Wang, Qingping Sun, Ruisi Wang, Chenyang Gu, Wanqi Yin, Zhiqian Lin, Zhitao Yang, Chen Wei, Xuanke Shi, Kewang Deng, Xiaoyang Han, Zukai Chen, Jiaqi Li, Xiangyu Fan, Hanming Deng, Lewei Lu, Bo Li, Ziwei Liu, Quan Wang, Dahua Lin, Lei Yang,
• Abstract要約: GPT-5は、これまでで最も強力なAIモデルと言われているが、空間知能タスクの幅広い範囲において、人間のパフォーマンスに欠けていた。 我々はまた、人間にとって直感的であるが、最も先進的なマルチモーダルモデルでさえも失敗する様々なシナリオの集合に対して質的な評価を行う。
• 参考スコア（独自算出の注目度）: 82.20514207247675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal models have achieved remarkable progress in recent years. Nevertheless, they continue to exhibit notable limitations in spatial understanding and reasoning, the very capability that anchors artificial general intelligence in the physical world. With the recent release of GPT-5, allegedly the most powerful AI model to date, it is timely to examine where the leading models (GPT, Gemini, Grok, Seed, Qwen, and Intern) stand on the path toward spatial intelligence. We first propose a holistic taxonomy of spatial tasks that unifies existing benchmarks and a standardized protocol for the fair evaluation of state-of-the-art proprietary and open-source models across eight key benchmarks, at a cost exceeding ten billion total tokens. Our empirical study then reveals that (1) GPT-5 demonstrates unprecedented strength in spatial intelligence (SI), yet (2) still falls short of human performance significantly across a broad spectrum of SI-tasks. Moreover, we (3) show that SI-tasks expose greater model capability deficiency than non-SI tasks, to the extent that (4) proprietary models do not exhibit a decisive advantage when facing the most difficult ones. In addition, we conduct a qualitative evaluation across a diverse set of scenarios that are intuitive for humans, yet fail even the most advanced multimodal models.
• Abstract（参考訳）: マルチモーダルモデルは近年顕著な進歩を遂げている。 それでも彼らは、空間的理解と推論において顕著な限界を示し続けている。 GPT-5の最近のリリースは、これまででもっとも強力なAIモデルと言われているが、主要なモデル(GPT、Gemini、Grok、Seed、Qwen、Intern)が空間知性への道をどこに立っているかを調べるのがタイミングだ。 まず,既存のベンチマークを統一した空間的タスクの全体的分類法と,8つの主要なベンチマークにおける最先端のプロプライエタリおよびオープンソースモデルの公平な評価のための標準化されたプロトコルを提案する。 実験により,(1) GPT-5は空間知能(SI)において前例のない強みを示すが,(2)多種多様なSIタスクにおいて人的性能に欠けることが明らかとなった。 さらに, SIタスクよりも, SIタスクよりもモデル能力の不足が大きいこと, (4) プロプライエタリモデルが最も困難なタスクに直面する場合, 決定的な優位性を示しないことを示す。 さらに、人間にとって直感的だが、最も先進的なマルチモーダルモデルでさえも失敗する様々なシナリオの集合に対して質的な評価を行う。

関連論文リスト

• Evaluating Large Language Models on the Frame and Symbol Grounding Problems: A Zero-shot Benchmark [0.0]
  フレーム問題とシンボルグラウンド問題(英語版)は歴史的に、伝統的なシンボルAIシステムでは解決不可能と見なされてきた。 本研究では,現代のLSMがこれらの問題に対処するために必要な認知能力を持っているかを検討する。
  論文  参考訳（メタデータ） (2025-06-09T16:12:47Z)
• MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence [50.38961770108891]
  MMSI-Benchは、マルチイメージ空間インテリジェンスに特化したVQAベンチマークである。 我々は、大規模な実験を行い、34のオープンソースおよびプロプライエタリMLLMを徹底的に評価する。 最も強力なオープンソースモデルはおよそ30%の精度に達し、OpenAIのo3推論モデルは40%に達し、人間は97%である。
  論文  参考訳（メタデータ） (2025-05-29T17:59:52Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• Integration of cognitive tasks into artificial general intelligence test for large models [54.72053150920186]
  我々は、認知科学にインスパイアされた人工知能(AGI)テストの包括的な枠組みを提唱する。 認知科学に触発されたAGIテストは、結晶化インテリジェンス、流体インテリジェンス、社会インテリジェンス、エンボディドインテリジェンスを含む、すべてのインテリジェンスファセットを含んでいる。
  論文  参考訳（メタデータ） (2024-02-04T15:50:42Z)
• MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts [170.01089233942594]
  MathVistaは、様々な数学的タスクと視覚的タスクの課題を組み合わせるために設計されたベンチマークである。 最高のパフォーマンスのGPT-4Vモデルは全体の49.9%の精度を達成し、第2位のパフォーマーであるBardを15.1%上回った。 GPT-4Vは、複雑な数字を理解し、厳格な推論を行うのに苦戦しているため、人間のパフォーマンスが10.4%下がったままである。
  論文  参考訳（メタデータ） (2023-10-03T17:57:24Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。