論文の概要: SpaceAct: Benchmarking 3D Spatial and Temporal Reasoning via Closed-Loop Action and Active Perception

• arxiv url: http://arxiv.org/abs/2610.38405v1
• Date: Wed, 28 Oct 2026 07:51:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.970242
• Title: SpaceAct: Benchmarking 3D Spatial and Temporal Reasoning via Closed-Loop Action and Active Perception
• Title（参考訳）: SpaceAct:クローズドループアクションとアクティブパーセプションによる3次元空間的・時間的推論のベンチマーク
• Abstract要約: SpaceActは、3Dの時間的推論をクローズドループの物理アクションとアクティブな知覚によって評価するインタラクティブなベンチマークである。 有効な計画であっても、MLLMは3次元の視覚とアクションのループによってボトルネックを保ち、アクティブな探索と明示的な3次元マルチビューのマルチビューのためのテストベッドであることを示す。
• 参考スコア（独自算出の注目度）: 17.496615022883407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To solve problems in 3D space rather than merely describe images, multimodal large language models (MLLMs) need 3D spatiotemporal reasoning: reconstructing 3D geometry from occluded 2D views, anticipating physical dynamics, and executing precise, closed-loop actions. Prior studies test passive VQA on static images or symbolic planning, requiring no execution or supplying privileged coordinates while ignoring collision, statics, and timing. We introduce SpaceAct, an interactive benchmark evaluating 3D spatiotemporal reasoning via closed-loop physical action and active perception, with SAPA, a Spatiotemporal Active-Probing Agent framework. Built on interlocking bricks and mechanical puzzles, it has 108 verified instances across 36 task families in six categories, without privileged coordinates, and diagnostic modes (+plan, +state, no-camera, blind, L7 levers). In brick-bridging or aperture-threading, models rotate the camera to resolve occlusion, read in-scene rulers, output 6-DoF poses under swept-collision and statics checks, and self-correct via split-screen rollback feedback (dynamic tasks freeze time during deliberation and give five strobe frames). Across 10 frontier MLLMs on the 44 hardest instances, scores span 4.8-79.1 (seven solve at most 27.3% of 6-DoF tasks); for the top three, a reference plan (+plan) closes 44% of the gap while leaving collisions at 5.2 per episode, whereas adding exact 3D state (+state) closes 90% and cuts collisions to 0.5; for four others, +plan lifts the mean score from 10.9 to 35.3 and +state to 81.8; and 46% of failures are collision or observation loops. SpaceAct and SAPA advance evaluation to closed-loop physical interaction, showing that even with a valid plan, MLLMs remain bottlenecked by 3D visual grounding and action refinement, while offering a testbed for active multi-view exploration and explicit 3D grounding.
• Abstract（参考訳）: 画像を記述するだけでなく、三次元空間における問題を解決するために、マルチモーダル大言語モデル(MLLM)は、3次元時空間的推論を必要としている。 以前の研究では、静的イメージやシンボリックプランニングで受動VQAをテストし、衝突や静的、タイミングを無視しながら、実行や特権座標の供給を必要としない。 本研究では,3次元時空間推論をクローズドループの物理動作とアクティブな知覚を通じて評価するインタラクティブなベンチマークであるSpaceActを紹介し,時空間アクティブプロビビングエージェントフレームワークであるSAPAを紹介した。 ブロックと機械パズルを連動させ、36のタスクファミリに108の検証済みインスタンスを6つのカテゴリに分けて、特権的な座標なしで、診断モード(+plan、+state、no-camera、 blind、L7 levers)を備えている。 ブリックブリッジや開口スレッディングでは、モデルはカメラを回転させてオクルージョンを解消し、シーン内の定規を読み、6-DoFのポーズをスワップコリジョンとスタティックスチェックで出力し、スプリットスクリーンのロールバックフィードバックで自己修正する(検討中の動的タスクは凍結し、ストロボフレームを5つ与える)。 44の難易度のうち10のフロンティアMLLMはスコアが4.8-79.1(最大で7.3%の6-DoFタスク)で、上位3の基準プラン(+plan)は、衝突を5.2で残しながらギャップの44%を閉じる一方、正確な3D状態(+state)は90%を閉じ、衝突を0.5に減らし、+planは平均スコアを10.9から35.3、+stateは81.8に引き上げる。 SpaceActとSAPAは、クローズドループの物理的相互作用の事前評価を行い、有効な計画であっても、MLLMは、アクティブなマルチビュー探索と明示的な3Dグラウンドティングのためのテストベッドを提供しながら、3Dの視覚的グラウンドニングとアクションリファインメントによってボトルネックを被っていることを示した。

関連論文リスト

• RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment [60.989018864729445]
  対話型3次元から2次元の投影アライメントによる能力評価にRoTA-Benchを導入する。 対象のシルエットが与えられた場合、モデルは回転したオブジェクトを観察し、連続する回転を選択してターゲットの投影を回復する。 GPT-5.6-Solがわずか17%のタスクで成功するのに対し、20人の学部生が100%の成功率でテストセットを4回完了した。
  論文  参考訳（メタデータ） (2026-10-13T03:46:48Z)
• RRTrack: Robust and Recoverable Object 6D Pose Tracking for Dynamic Scenes [55.15267980622371]
  RRTrackは効率的で復元可能なオブジェクト6Dポーズトラッカーである。 高速な動きと目標の消光によるロバストな追跡を可能にする。 実験の結果、RRTrackはADD-S ARを66.3%改善し、ADD-S AUCを65.7%改善した。
  論文  参考訳（メタデータ） (2026-07-26T14:05:46Z)
• WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
  WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。 WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
  論文  参考訳（メタデータ） (2026-06-12T02:49:34Z)
• Do Vision--Language Models Understand 3D Scenes or Just Catalogue Objects? [0.0]
  6フロンティアとオープンウェイトVLMは, LLM-as-judgeを伴わない18,204応答でアノテーターによって測定され, 急激な解離を示した。 目に見えるレイアウトを53～97%精度で再配置し、衝突の制約にほとんど違反しないモデルは、閉塞時に6～45%、反射時に7%以下に低下する。 Qwen3-VL-8B-Thinkingのホワイトボックス解析は、視覚的統合の失敗をローカライズする。
  論文  参考訳（メタデータ） (2026-05-19T20:01:19Z)
• 3D-Anchored Lookahead Planning for Persistent Robotic Scene Memory via World-Model-Based MCTS [0.12891210250935145]
  3D-ALPは、ロボット操作のためのシステム2推論エンジンである。 モンテカルロ木探索(MCTS)と3D一貫性のある世界モデルをロールアウトオラクルとして組み合わせている。
  論文  参考訳（メタデータ） (2026-04-13T11:01:30Z)
• Text-Guided 6D Object Pose Rearrangement via Closed-Loop VLM Agents [52.53348718474685]
  VLM(Vision-Language Models)は、強力な視覚的推論能力を持つが、3D理解に苦慮している。 この閉ループプロセスに不可欠な3つの推論時間手法を導入する。 本手法は,対象物体のテキスト誘導目標6Dポーズの予測において,従来の手法を超越した手法である。
  論文  参考訳（メタデータ） (2026-04-10T18:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。