Fugu-MT 論文翻訳(概要): HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models

論文の概要: HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models

arxiv url: http://arxiv.org/abs/2603.25411v1
Date: Thu, 26 Mar 2026 13:08:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-27 20:52:48.304443
Title: HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models
Title（参考訳）: HiSpatial:視覚言語モデルにおける階層型3次元空間理解のモデリング
Abstract要約: 本稿では,視覚言語モデルにおける3次元空間理解の学習を,段階的に複雑な4つのレベルに分解する原理的階層的枠組みを提案する。我々は,空間的理解を深めるために,計量スケールの点マップを補助入力として組み込んだRGB-D VLMを開発した。
参考スコア（独自算出の注目度）: 33.677114670148235
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Achieving human-like spatial intelligence for vision-language models (VLMs) requires inferring 3D structures from 2D observations, recognizing object properties and relations in 3D space, and performing high-level spatial reasoning. In this paper, we propose a principled hierarchical framework that decomposes the learning of 3D spatial understanding in VLMs into four progressively complex levels, from geometric perception to abstract spatial reasoning. Guided by this framework, we construct an automated pipeline that processes approximately 5M images with over 45M objects to generate 3D spatial VQA pairs across diverse tasks and scenes for VLM supervised fine-tuning. We also develop an RGB-D VLM incorporating metric-scale point maps as auxiliary inputs to further enhance spatial understanding. Extensive experiments demonstrate that our approach achieves state-of-the-art performance on multiple spatial understanding and reasoning benchmarks, surpassing specialized spatial models and large proprietary systems such as Gemini-2.5-pro and GPT-5. Moreover, our analysis reveals clear dependencies among hierarchical task levels, offering new insights into how multi-level task design facilitates the emergence of 3D spatial intelligence.
Abstract（参考訳）: 視覚言語モデル(VLM)のための人間のような空間知性を実現するには、2次元観測から3次元構造を推定し、3次元空間における物体の性質と関係を認識し、高レベルの空間推論を行う必要がある。本稿では,VLMにおける3次元空間理解の学習を,幾何学的知覚から抽象的空間推論に至るまで,段階的に4つの段階に分解する原理的階層的枠組みを提案する。このフレームワークにより、約5Mの画像を45M以上のオブジェクトで処理し、様々なタスクやシーンにまたがって3D空間VQAペアを生成する自動パイプラインを構築し、VLMの微調整を監督する。また,空間的理解を深めるために,計量スケールの点マップを補助入力として組み込んだRGB-D VLMを開発した。広汎な実験により,複数の空間的理解と推論のベンチマークにおいて,Gemini-2.5-pro や GPT-5 などの大規模プロプライエタリシステムや空間的モデルを上回る,最先端の性能が得られた。さらに,階層的タスクレベル間の依存関係を明らかにし,マルチレベルタスク設計が空間的知能の出現をいかに促進するか,新たな知見を提供する。

関連論文リスト

Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models [32.477423778941386]
純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2026-06-04T08:11:12Z)
GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation [75.85672467847631]
本稿では,3次元のコンパクトな特徴表現であるGeometry-Aware BEV (GA-BEV)を紹介する。視覚的特徴を3次元空間に投影することで,RGB-D入力からBEV空間マップを構築する。我々は,BEV空間に事前訓練された3Dファンデーションモデルの特徴を取り入れ,大規模3D再構築作業から学んだ構造的先行を注入する。
論文参考訳（メタデータ） (2026-05-21T06:20:17Z)
Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
論文参考訳（メタデータ） (2025-12-23T17:56:36Z)
Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文参考訳（メタデータ） (2025-11-14T04:16:09Z)
SpatialThinker: Reinforcing 3D Reasoning in Multimodal LLMs via Spatial Rewards [37.39035418889281]
構造的空間接地と多段階推論を統合するためにRLで訓練された3D対応MLLMであるSpatialThinkerを紹介する。このモデルは,タスク関連オブジェクトと空間関係のシーングラフを構築し,密集した空間報酬による回答への推論を行うことにより,人間のような空間知覚をシミュレートする。
論文参考訳（メタデータ） (2025-11-10T18:52:47Z)
Spatial-ViLT: Enhancing Visual Spatial Reasoning through Multi-Task Learning [1.5604334108839177]
視覚言語モデル(VLM)は高度なマルチモーダル推論を持つが、3Dシーンや複雑なオブジェクト構成の空間的推論では依然として課題に直面している。本研究では,深度マップ,3次元座標,エッジマップなどの空間的特徴をマルチタスク学習フレームワークを通じて統合する拡張VLMであるSpatialViLTを紹介する。本研究では,SpatialViLTとMaskedSpatialViLTの2つの変種を提案する。我々のモデルは、視覚空間推論(VSR)データセットで示されるように、方向、位相、近接関係などの空間的推論のカテゴリで優れている。
論文参考訳（メタデータ） (2025-10-03T19:04:15Z)
ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文参考訳（メタデータ） (2025-05-27T17:59:26Z)
VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文参考訳（メタデータ） (2025-05-26T17:56:30Z)
Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
論文参考訳（メタデータ） (2025-05-26T15:28:17Z)
SpatialPIN: Enhancing Spatial Reasoning Capabilities of Vision-Language Models through Prompting and Interacting 3D Priors [42.85605789984155]
空間的視覚的質問応答(VQA)において、最先端の空間的推論強化VLMを訓練する本研究では,VLMの空間的推論能力を高めるためのフレームワークであるSpatialPINを提案する。我々の空間推論型VLMは、空間的VQAの様々な形態でうまく機能し、ピックやスタック、軌道計画といった下流ロボット作業に役立てることができる。
論文参考訳（メタデータ） (2024-03-18T17:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。