論文の概要: SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes
- arxiv url: http://arxiv.org/abs/2605.31148v1
- Date: Fri, 29 May 2026 10:59:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.557021
- Title: SpatialAct: Probing Spatial Reasoning-to-Action Capabilities of VLM Agents in 3D Scenes
- Title（参考訳）: 空間的行為:3次元シーンにおけるVLMエージェントの空間的推論と反応能力の探索
- Abstract要約: 人間は、空間的レイアウトを熱心に知覚し、認知的表現を形成し、そのような推論を日々の3D環境における行動に変換することができる。
近年の視覚言語モデル(VLM)は、観測条件付き空間知覚と推論タスクにおいて有望な性能を示した。
我々は,3次元シーンにおけるテクスタイディション条件付き空間推論を探索するシミュレータ・グラウンド・ベンチマークであるtextbfSpatialAct を紹介する。
- 参考スコア（独自算出の注目度）: 15.076506371158876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans can effortlessly perceive spatial layouts, form cognitive representations, reason about spatial relations, and translate such reasoning into actions in everyday 3D environments. Although recent vision-language models (VLMs) have shown promising performance on observation-conditioned spatial perception and reasoning tasks, it remains unclear whether they can build coherent spatial understanding, act upon it, and refine their actions through multi-turn feedback. To study this problem, we introduce \textbf{SpatialAct}, a simulator-grounded benchmark for probing \textit{action-conditioned spatial reasoning} in 3D scenes. Starting from the most challenging setting, Multi-turn Interactive Refinement, we further design its decomposed counterpart, Single-step Error Detection and Fix, together with five fundamental spatial ability tasks to diagnose the underlying causes of model failures. Experiments reveal a clear reasoning-to-action gap: current VLMs can perform well on isolated spatial reasoning tasks, but struggle to maintain coherent spatial beliefs and produce reliable actions during multi-turn feedback, substantially underperforming humans. These results suggest that current VLM agents still lack robust spatial state tracking under action-induced environment changes, even when low-level control is abstracted away.
- Abstract（参考訳）: 人間は、空間的レイアウトを熱心に知覚し、認知的表現を形成し、空間的関係を推論し、そのような推論を日々の3D環境における行動に変換することができる。
近年の視覚言語モデル(VLM)は、観察条件付き空間認識と推論タスクにおいて有望な性能を示したが、一貫性のある空間理解を構築し、それを実践し、マルチターンフィードバックを通じて行動を改善することができるかどうかは不明である。
そこで本研究では,3次元シーンにおいて,textit{action-conditioned space reasoning} を探索するためのシミュレータ付きベンチマークである \textbf{SpatialAct} を紹介する。
最も困難な設定であるMulti-turn Interactive Refinementから、モデル障害の根本原因を診断するための5つの基本的な空間的能力タスクとともに、分解された対象であるSingle-step Error Detection and Fixを更に設計する。
現在のVLMは、孤立した空間的推論タスクでうまく機能するが、コヒーレントな空間的信念を維持し、マルチターンフィードバック中に信頼できる行動を生成するのに苦労する。
これらの結果から,現在のVLMエージェントは,低レベル制御を抽象化しても,動作誘起環境変化下での堅牢な空間状態追跡を欠いていることが示唆された。
関連論文リスト
- SpaceEra++: A Unified Framework Towards 3D Spatial Reasoning in Video [88.79625979053873]
事前学習型視覚言語モデル(VLM)のための新しいフレームワークSpaceEraを提案する。
データ構築、モデル設計、トレーニング最適化、推論の促進にまたがる、SpaceEra++と呼ばれる、オリジナルのフレームワークを包括的なシステムに拡張します。
さらに,空間的推論を強化するために,絶対座標と相対空間関係を協調的に利用することにより,対物制約を強制するSpaceAlignを開発した。
論文 参考訳（メタデータ） (2026-07-02T06:56:29Z) - ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop [55.468404995694975]
我々は,OmniGibson上に構築された10のタスクカテゴリと29のサブカテゴリにまたがる空間知能の具体化ベンチマークを開発した。
我々は最先端のMLLMの実験を行い、活発な探索が受動的に優れていることを発見した。
矛盾した視点を求め、信念を改定する人間とは異なり、モデルは証拠の品質に関わらず、高い信頼をもって早々に行動する。
論文 参考訳（メタデータ） (2026-05-18T17:59:02Z) - SleepWalk: A Three-Tier Benchmark for Stress-Testing Instruction-Guided Vision-Language Navigation [18.453985392979785]
SleepWalk(スリープウォーク)は、単一シーンの3Dワールドにおいて、命令付き軌道予測を評価するためのベンチマークである。
2,472個の3次元環境上での3つのフロンティア・ビジョン・ランゲージ・モデルの評価を行った。
論文 参考訳（メタデータ） (2026-05-11T11:20:14Z) - ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models [37.686748605290795]
ESPIREは空間推論のための診断ベンチマークである。
物理的に視覚言語モデルに基づいて、空間推論中心のロボットタスクでそれらを評価する。
我々は各タスクをローカライズと実行に分解し、両方を生成問題として扱う。
論文 参考訳（メタデータ） (2026-03-13T14:43:00Z) - From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。
CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。
以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
論文 参考訳（メタデータ） (2026-02-24T15:33:02Z) - SpatialDreamer: Incentivizing Spatial Reasoning via Active Mental Imagery [64.67498968405327]
SpaceDreamerは、活発な探索のクローズループプロセスを通じて空間推論を可能にする強化学習フレームワークである。
GeoPOは、整合性幾何制約を伴う木構造サンプリングとステップレベルの報酬推定を導入している。
論文 参考訳（メタデータ） (2025-12-08T17:20:50Z) - REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories [19.741468026765062]
本稿では,空間推論のための制御可能な3次元環境を用いたベンチマークREM(Reasoning over Embodied Multi-Frame Trajectories)を紹介する。
REMは、オブジェクトの永続性/識別、空間的関係、動的エンボディされた視点における数値的追跡などの重要な側面を体系的に評価する。
評価の結果、最高の性能を示す現在のモデルでは、全体的な性能が期待できるが、人間によって容易に扱える程度の複雑性レベルでは信頼性が低下していることがわかった。
論文 参考訳（メタデータ） (2025-11-30T05:20:22Z) - ReSem3D: Refinable 3D Spatial Constraints via Fine-Grained Semantic Grounding for Generalizable Robotic Manipulation [12.059517583878756]
本稿では,意味的に多様な環境に対する統一的な操作フレームワークReSem3Dを提案する。
本稿では,ReSem3Dがゼロショット条件下で多様な操作を行い,適応性と一般化性を示すことを示す。
論文 参考訳（メタデータ） (2025-07-24T10:07:31Z) - SIRI-Bench: Challenging VLMs' Spatial Intelligence through Complex Reasoning Tasks [51.774165536666864]
SIRI-Benchは視覚言語モデルの構造的空間知性を評価するためのベンチマークである。
Benchは9000の動画検索用三脚で構成されており、各問題はリアルな3Dシーンに埋め込まれている。
実験結果から,最先端のVLMはSIRI-Benchでかなり苦労し,構造的空間推論の課題を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-17T13:40:00Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
機械的解釈可能性のレンズによる空間的推論の課題について検討する。
空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。
本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
論文 参考訳（メタデータ） (2025-03-03T17:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。