論文の概要: Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
- arxiv url: http://arxiv.org/abs/2607.22864v1
- Date: Fri, 24 Jul 2026 19:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.913798
- Title: Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
- Title（参考訳）: 空間IQ:階層的能力テストによる空間知能の再構築
- Abstract要約: マルチモーダル大言語モデル(MLLM)は視覚的解釈に優れるが、人間が確実に解決する空間推論のタスクでは失敗する。
階層的な診断フレームワークであるSpatial-IQを導入し、重畳された3次元構造のオブジェクトカウントを9つの知覚的・認知的サブタスクに分解する。
我々は,3つの出力形式(自由応答テキスト,複数選択画像,画像編集)のモデルを,人間のベースラインとともに評価する。
- 参考スコア（独自算出の注目度）: 8.148716256952607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) excel at visual interpretation but fail on spatial reasoning tasks that humans solve reliably. Existing benchmarks evaluate these models as black boxes, limiting their ability to identify the underlying causes of lower performance: when a model fails a spatial reasoning task, it remains difficult to ascertain whether the hurdle is perceptual, such as recognizing object boundaries, or cognitive, such as reasoning about occlusion to infer hidden geometry. We introduce Spatial-IQ, a hierarchical diagnostic framework that decomposes object counting in stacked 3D structures into 9 perceptual and cognitive sub-tasks organized by the developmental stages of human spatial cognition, with mental rotation as an additional target probe. Using NVIDIA Isaac Sim, we procedurally generated a diverse dataset of roughly 80,000 stacked 3D structures with per-task ground truth. We evaluate models across three output formats (free-response text, multiple-choice images, and image editing) alongside a human baseline. The Spatial-IQ framework shows that top-performing models often succeed at the target task (object counting) without succeeding on the lower-level sub-tasks intended to support it, and that models differ in how much of these hierarchical chains they preserve, often revealing shortcut behavior that raw target-task accuracy alone would obscure. Finally, we demonstrate that training models with chain-of-thought (CoT) supervision over our hierarchical sub-tasks, combined with reinforcement learning with verifiable rewards, significantly improves both spatial consistency across sub-tasks and target-task accuracy, supporting the value of the proposed decomposition as both a diagnostic tool and a training signal.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は視覚的解釈に優れるが、人間が確実に解決する空間推論のタスクでは失敗する。
既存のベンチマークでは、これらのモデルをブラックボックスとして評価し、低いパフォーマンスの原因を特定する能力を制限する: モデルが空間的推論タスクに失敗したとき、そのハードルが知覚的であるかどうか、例えば物体の境界を認識することや、隠された幾何学を推測するオクルージョンについての推論などの認知を確かめることは困難である。
本研究では,人間の空間認知の発達段階によって構成された知覚的・認知的サブタスク9つに,重畳された3次元構造のオブジェクトカウントを分解する階層的診断フレームワークであるSpatial-IQを紹介した。
NVIDIA Isaac Simを使って、約80,000個の積み重ねられた3D構造の多様なデータセットを、タスク毎に生成しました。
我々は,3つの出力形式(自由応答テキスト,複数選択画像,画像編集)のモデルを,人間のベースラインとともに評価する。
空間IQフレームワークは、目標タスク(オブジェクトカウント)において、それをサポートするために低レベルのサブタスクを成功させることなく、最高のパフォーマンスのモデルが成功することが多く、モデルが保持する階層的連鎖の量が異なることを示し、しばしばターゲットタスクの精度だけでは明らかでないショートカットの挙動を明らかにする。
最後に、階層的なサブタスクに対するチェーン・オブ・ソート(CoT)によるトレーニングモデルと、検証可能な報酬を伴う強化学習が相まって、サブタスク間の空間的一貫性と目標タスク精度の両方を著しく改善し、診断ツールとトレーニング信号の両方として、提案した分解の値をサポートすることを示した。
関連論文リスト
- Promptable Concept Segmentation from Above: Evaluating SAM 3's Zero-Shot and One-Shot Capabilities in Remote Sensing [0.42970700836450487]
本稿では,リモートセンシングシーンの分類,オブジェクト検出,インスタンスのセグメンテーションにまたがる総合的,マルチタスクな経験的評価について述べる。
我々の結果は、SAM 3がレガシーなドメイン適応モデルでよく見られる過度な適合を避けることを実証している。
サブピクセル解像度制限と、オーバーヘッドセマンティックブラインドスポットによって、基本的に制限されている。
論文 参考訳（メタデータ） (2026-07-10T16:33:05Z) - Embodied3DBench: Benchmarking Low-Level Embodied Spatial Intelligence of Vision Language Models [50.6415287154632]
Embodied3DBenchは3D環境における低レベル空間インテリジェンスをターゲットにしたロボット中心のベンチマークである。
ベンチマークは12のサブカテゴリにまたがり、21万以上の高品質な質問応答ペアを含んでいる。
論文 参考訳（メタデータ） (2026-05-27T20:28:56Z) - Beyond Shortcuts: Mitigating Visual Illusions in Frozen VLMs via Qualitative Reasoning [14.700305370711973]
凍結したビジョンランゲージモデルにおける視覚的グラウンドの強化を目的とした,トレーニングフリーでデータ中心のフレームワークを提案する。
我々のフレームワークは、DataCV 2026 Challenge (Task I: Classic Illusion Understanding)で評価され、総合2位にランクインした。
我々の成功は、次世代のイリュージョンに耐性のある視覚言語システムを開発するための堅牢なパラダイムとして、構造化定性的接地の可能性を示している。
論文 参考訳（メタデータ） (2026-04-29T03:12:29Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - EgoReasoner: Learning Egocentric 4D Reasoning via Task-Adaptive Structured Thinking [34.29831801830779]
EgoReasonerは、各タスクの認知構造に推論の足場と報酬信号を調整するフレームワークである。
本モデルでは,HD-EPICベンチマークで平均37.5%の精度を達成し,Qwen2.5-VL-7Bを10点以上上回った。
論文 参考訳（メタデータ） (2026-03-06T18:49:04Z) - Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。
我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。
以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
論文 参考訳（メタデータ） (2026-01-20T11:59:19Z) - Spatial Reasoning in Multimodal Large Language Models: A Survey of Tasks, Benchmarks and Methods [11.53401872925025]
空間能力は入力形式によってのみ決定されるものではないと我々は主張する。
本調査では,認知的側面から空間知性を整理する分類法を紹介した。
トレーニングベースと推論ベースの両方にまたがる空間能力向上手法を解析する。
論文 参考訳（メタデータ） (2025-11-14T02:43:17Z) - How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。
空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
論文 参考訳（メタデータ） (2025-09-23T12:00:14Z) - PhyBlock: A Progressive Benchmark for Physical Understanding and Planning via 3D Block Assembly [77.33429729761596]
物理理解と計画について視覚言語モデル(VLM)を評価するためのプログレッシブベンチマークであるPhyBlockを紹介する。
PhyBlockは、視覚質問回答(VQA)サンプルと並行して、新しい4段階の認知階層化タスクを統合する。
我々は21の最先端のVLMをベンチマークし、物理的に基盤化されたマルチステップ計画におけるその強みと限界を強調した。
論文 参考訳（メタデータ） (2025-06-10T11:46:06Z) - SPHERE: Unveiling Spatial Blind Spots in Vision-Language Models Through Hierarchical Evaluation [7.659514491338669]
現在の視覚言語モデルは、基本的な空間的手がかりを把握できるが、人間のような理解や現実世界の応用に必要な多次元空間的推論に苦慮している。
我々は,新しい人間注釈付きデータセットをサポートする階層的評価フレームワークであるSPHEREを開発した。
最先端モデルのベンチマーク評価では、特に距離と近接性についての推論において、重大な欠陥が示される。
論文 参考訳（メタデータ） (2024-12-17T09:10:55Z) - Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。
提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
論文 参考訳（メタデータ） (2023-10-02T08:49:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。