論文の概要: HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.25411v1
• Date: Thu, 26 Mar 2026 13:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.304443
• Title: HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models
• Title（参考訳）: HiSpatial:視覚言語モデルにおける階層型3次元空間理解のモデリング
• Authors: Huizhi Liang, Yichao Shen, Yu Deng, Sicheng Xu, Zhiyuan Feng, Tong Zhang, Yaobo Liang, Jiaolong Yang,
• Abstract要約: 本稿では,視覚言語モデルにおける3次元空間理解の学習を,段階的に複雑な4つのレベルに分解する原理的階層的枠組みを提案する。 我々は,空間的理解を深めるために,計量スケールの点マップを補助入力として組み込んだRGB-D VLMを開発した。
• 参考スコア（独自算出の注目度）: 33.677114670148235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving human-like spatial intelligence for vision-language models (VLMs) requires inferring 3D structures from 2D observations, recognizing object properties and relations in 3D space, and performing high-level spatial reasoning. In this paper, we propose a principled hierarchical framework that decomposes the learning of 3D spatial understanding in VLMs into four progressively complex levels, from geometric perception to abstract spatial reasoning. Guided by this framework, we construct an automated pipeline that processes approximately 5M images with over 45M objects to generate 3D spatial VQA pairs across diverse tasks and scenes for VLM supervised fine-tuning. We also develop an RGB-D VLM incorporating metric-scale point maps as auxiliary inputs to further enhance spatial understanding. Extensive experiments demonstrate that our approach achieves state-of-the-art performance on multiple spatial understanding and reasoning benchmarks, surpassing specialized spatial models and large proprietary systems such as Gemini-2.5-pro and GPT-5. Moreover, our analysis reveals clear dependencies among hierarchical task levels, offering new insights into how multi-level task design facilitates the emergence of 3D spatial intelligence.
• Abstract（参考訳）: 視覚言語モデル(VLM)のための人間のような空間知性を実現するには、2次元観測から3次元構造を推定し、3次元空間における物体の性質と関係を認識し、高レベルの空間推論を行う必要がある。 本稿では,VLMにおける3次元空間理解の学習を,幾何学的知覚から抽象的空間推論に至るまで,段階的に4つの段階に分解する原理的階層的枠組みを提案する。 このフレームワークにより、約5Mの画像を45M以上のオブジェクトで処理し、様々なタスクやシーンにまたがって3D空間VQAペアを生成する自動パイプラインを構築し、VLMの微調整を監督する。 また,空間的理解を深めるために,計量スケールの点マップを補助入力として組み込んだRGB-D VLMを開発した。 広汎な実験により,複数の空間的理解と推論のベンチマークにおいて,Gemini-2.5-pro や GPT-5 などの大規模プロプライエタリシステムや空間的モデルを上回る,最先端の性能が得られた。 さらに,階層的タスクレベル間の依存関係を明らかにし,マルチレベルタスク設計が空間的知能の出現をいかに促進するか,新たな知見を提供する。

関連論文リスト

• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• SpatialThinker: Reinforcing 3D Reasoning in Multimodal LLMs via Spatial Rewards [37.39035418889281]
  構造的空間接地と多段階推論を統合するためにRLで訓練された3D対応MLLMであるSpatialThinkerを紹介する。 このモデルは,タスク関連オブジェクトと空間関係のシーングラフを構築し,密集した空間報酬による回答への推論を行うことにより,人間のような空間知覚をシミュレートする。
  論文  参考訳（メタデータ） (2025-11-10T18:52:47Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• SpatialPIN: Enhancing Spatial Reasoning Capabilities of Vision-Language Models through Prompting and Interacting 3D Priors [42.85605789984155]
  空間的視覚的質問応答(VQA)において、最先端の空間的推論強化VLMを訓練する 本研究では,VLMの空間的推論能力を高めるためのフレームワークであるSpatialPINを提案する。 我々の空間推論型VLMは、空間的VQAの様々な形態でうまく機能し、ピックやスタック、軌道計画といった下流ロボット作業に役立てることができる。
  論文  参考訳（メタデータ） (2024-03-18T17:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。