論文の概要: Spa-Bench: A Real-Robot Benchmark for Spatial Grounding in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.12696v1
- Date: Thu, 08 Oct 2026 20:22:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.275874
- Title: Spa-Bench: A Real-Robot Benchmark for Spatial Grounding in Vision-Language-Action Models
- Title(参考訳): Spa-Bench:視覚・言語・アクションモデルにおける空間接地のための実ロボットベンチマーク
- Abstract要約: Spa-Benchは6つのタスクにわたる空間的接地を評価する実ロボットベンチマークである。
我々はSO-101ロボットアームで収集された4,092エピソードを公表した。
- 参考スコア(独自算出の注目度): 12.056788298994904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action models (VLAs) offer a promising route toward general-purpose robotics by transferring semantic knowledge from large-scale vision-language pretraining into language-conditioned control. However, most VLA evaluations emphasize aggregate manipulation success under changes in objects, instructions, or environments, leaving unclear how reliably these policies ground spatial descriptions in the physical scenes where they act. We therefore ask a sharper question: how reliably can current VLAs translate spatial descriptions into appropriate real-robot behavior? To investigate this, we introduce Spa-Bench, a real-robot benchmark that evaluates spatial grounding across six tabletop tasks covering Object State, Relative Size, Referential Description, Relational Placement, Ordinal Position, and Counting. Our primary evaluation compares in-distribution (ID) and out-of-distribution (OOD) spatial configurations while retaining training support for the relevant objects, concepts, and actions, reducing object and motor unfamiliarity as alternative explanations for failure. Four diagnostic conditions further probe physical execution, sensitivity to wording, object-task associations, and recognition that no action is required. We release 4,092 episodes collected on the SO-101 robot arm: 1,200 human-teleoperated demonstrations and 2,892 real-robot evaluation rollouts from five state-of-the-art VLA policies. Across the three fully evaluated policies, success falls from 67.5-73.3% on ID spatial configurations to 40.7-52.0% on OOD spatial configurations, while matched direct instructions improve success by 28.3-40.0 percentage points. These results show that the evaluated VLAs can often execute the required manipulations but lack robust spatial grounding. Project materials, including videos, code, and benchmark data, are available at https://justintiensmith.github.io/Spa-Bench/.
- Abstract(参考訳): 視覚-言語-アクションモデル(VLA)は、大規模視覚-言語事前学習から言語条件制御への意味的知識の伝達により、汎用ロボット工学への有望な道筋を提供する。
しかしながら、ほとんどのVLA評価は、オブジェクト、命令、環境の変化の下での集合的な操作の成功を強調しており、これらのポリシーが、それらが行動する物理的なシーンにおいて空間的記述を確実に行うかははっきりしないままである。
したがって、我々はよりシャープな質問をする:現在のVLAは空間的記述を適切な実ロボットの振る舞いにどの程度確実に翻訳できるか?
そこで本研究では,オブジェクト状態,相対サイズ,参照記述,関係配置,正規位置,カウントを対象とする6つのテーブルトップタスクの空間的接地評価を行う実ロボットベンチマークであるSpa-Benchを紹介する。
本評価では, 対象物, 概念, 行動に対する訓練支援を維持しつつ, 分布内(ID) と分布外(OOD) の空間構成を比較し, 失敗の代替説明として, 物体と運動の不慣れさを低減した。
4つの診断条件は、身体的な実行、単語に対する感受性、オブジェクトとタスクの関連、行動を必要としないことの認識をさらに探究する。
我々はSO-101ロボットアームで収集された4,092エピソードを公表した。
完全に評価された3つの政策全体で、成功率はID空間構成では67.5-73.3%からOOD空間構成では40.7-52.0%に減少し、一致した直接指示では28.3-40.0ポイントに改善した。
これらの結果から,評価されたVLAは必要な操作を行うことができるが,ロバストな空間接地が欠如していることが示唆された。
ビデオ、コード、ベンチマークデータを含むプロジェクト資料はhttps://justintiensmith.github.io/Spa-Bench/で入手できる。
関連論文リスト
- Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning [21.67233368353003]
本稿では,アクション生成ループから空間的グラウンドを明示的に抽出する分離アーキテクチャであるSVP-ILを提案する。
実験では、SVP-ILは最先端のVLAや純粋なビジュモータベースラインよりも著しく優れている。
論文 参考訳(メタデータ) (2026-06-24T03:45:06Z) - ST4VLA: Spatially Guided Training for Vision-Language-Action Models [80.35847468618276]
大規模視覚言語モデル(VLM)はマルチモーダル理解において優れるが、具体化されたタスクに拡張されると不足する。
本稿では,動作学習と空間的先行時間との整合性を実現するための2元系ビジョン・ランゲージ・アクション・フレームワークST4VLAを紹介する。
ST4VLAは、Google Robotでは66.1 -> 84.6、WidowX Robotでは54.7 -> 73.2、バニラVLAよりも大幅に改善されている。
論文 参考訳(メタデータ) (2026-02-10T18:59:17Z) - InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot Policy [138.89177083578213]
空間接地とロボット制御のための統合フレームワークであるInternVLA-M1を紹介する。
InternVLA-M1は、(i)2.3M以上の空間的推論データに基づく空間的グラウンドトレーニングと(ii)空間的に誘導された後トレーニングという、2段階のパイプラインを使用する。
結果: InternVLA-M1 は SimplerEnv Google Robot で+14.6%、WidowX で+17%、LIBERO Franka で+4.3% で、空間誘導なしでその変種を上回った。
論文 参考訳(メタデータ) (2025-10-15T17:30:05Z) - DepthVLA: Enhancing Vision-Language-Action Models with Depth-Aware Spatial Reasoning [35.44151923549777]
VLA(Vision-Language-Action)モデルは最近、印象的な一般化と言語誘導操作機能を示している。
視覚言語モデル(VLM)から受け継いだ空間的推論の制限による空間的推論の精度の低下
本稿では,プレトレーニングした深度予測モジュールを通じて空間認識を明示的に組み込んだ,シンプルで効果的なVLAアーキテクチャであるDepthVLAを提案する。
論文 参考訳(メタデータ) (2025-10-15T10:09:00Z) - LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks [22.011855291417856]
VLM(Vision-Language Models)が空間的関係を認識し空間的動きを知覚する方法は、まだ解明されていない。
本研究では,空間評価パイプラインを導入し,対応するベンチマークを構築する。
我々は、複数の最先端VLMの実験を行い、改善の余地があることを観察する。
論文 参考訳(メタデータ) (2025-07-27T08:31:24Z) - RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。
本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。
RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
論文 参考訳(メタデータ) (2025-06-04T17:59:27Z) - SURDS: Benchmarking Spatial Understanding and Reasoning in Driving Scenarios with Vision Language Models [15.50826328938879]
視覚言語モデル(VLM)の空間的推論能力を評価するためのベンチマークであるSURDSを紹介する。
nuScenesデータセットに基づいて構築されたSURDSは、41,080の視覚要求回答トレーニングインスタンスと9,250の評価サンプルで構成されている。
本研究では,空間的に接地された報酬信号を利用した強化学習に基づくアライメント手法を提案する。
論文 参考訳(メタデータ) (2024-11-20T08:14:01Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2023-10-23T16:14:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。